WorldArena

已接入

面向 embodied world model 的视频质量与功能效用统一 benchmark。

最后更新: 2026年7月11日

本页内容

简介评测什么 Benchmark 设计官方参考需要准备什么数据集生成视频 Checkpoint 指标运行 Track 1 Video-Quality Metrics 导入已有结果输出

简介

WorldArena 从两个方向评测 embodied world model：perceptual video quality 和 functional utility。官方 benchmark 报告视频感知指标、embodied-task functionality、人类评分，以及统一的 EWMScore。它基于 RoboTwin 2.0 manipulation episodes，关注生成世界视频是否视觉合理、可控、物理可信，并且是否能帮助下游 embodied 任务。

WorldFoundry 已将 Track 1 video-quality runtime 集成在仓内：worldfoundry/evaluation/tasks/execution/runners/worldarena/。官方 project page、paper 和 source 作为协议参考；使用 WorldFoundry 的集成路径时不需要额外准备官方源码树。

评测什么

WorldArena 统一 embodied world model 的感知视频质量与功能效用。Track 1 在 6 个子维度上评 16 个感知指标；Track 2 在 RoboTwin 2.0 episode 上评测 world model 作为 data engine、policy evaluator 和 action planner 的能力。汇总指标 EWMScore 是归一化基础指标的算术平均，范围 0–100。

Benchmark 设计

Track	关注点	指标
Track 1 — Video quality	Visual、motion、content、physics、3D、controllability	16 个基础指标 → 6 个维度汇总
Track 2 — Functional utility	Data engine gain、policy-evaluator correlation、action-planner success	下游 embodied 任务结果
Human evaluation	Quality、instruction following、physical plausibility	world-arena.ai 社区评分

官方参考

Paper: arXiv:2602.08971
Project page 与 leaderboard: world-arena.ai
官方源码参考: github.com/tsinghua-fib-lab/WorldArena
数据集: WorldArena/WorldArena_Robotwin2.0
仓内 runner: worldfoundry/evaluation/tasks/execution/runners/worldarena/run_worldarena_official_runner.py

需要准备什么

数据集

下载 WorldArena RoboTwin 2.0 evaluation assets：

export WORLDFOUNDRY_WORLDARENA_DATA_ROOT=/path/to/datasets/WorldArena_Robotwin2.0

hf download WorldArena/WorldArena_Robotwin2.0 \
  --repo-type dataset \
  --local-dir "${WORLDFOUNDRY_WORLDARENA_DATA_ROOT}"

如果要做 leaderboard 形态评测，用官方 test_dataset。val_dataset 主要用于 online arena 和 qualitative comparison。

生成视频

Track 1 video-quality evaluation 要求你先根据初始帧和 instruction/action sequence 为每个 episode 生成视频。官方要求：

Driver type	视频长度
Text-driven	121 frames
Action-driven	与 ground-truth trajectory 长度对齐

建议使用至少 640x480 分辨率，并保持 24 fps 以贴近提交协议。

原始生成视频通常先整理为：

/path/to/worldarena/generated_videos/
|-- <task>_<episode>.mp4
`-- ...

video-quality runtime 消费 extracted-frame dataset。如果你有官方 summary.json，可以用仓内 preprocessing script 生成评测结构：

PYTHONPATH=. "${WORLDFOUNDRY_UNIFIED_PYTHON:-python}" \
  worldfoundry/evaluation/tasks/execution/runners/worldarena/runtime/video_quality/preprocess_datasets.py \
  --summary_json "${WORLDFOUNDRY_WORLDARENA_DATA_ROOT}/test_dataset/summary.json" \
  --gen_video_dir /path/to/worldarena/generated_videos \
  --output_base /path/to/worldarena/prepared

期望 prepared layout：

/path/to/worldarena/prepared/
|-- gt_dataset/
|   `-- <task>/<episode>/prompt|video/
`-- generated_dataset/
    `-- <task>/<episode>/1/video/frame_00000.jpg

Action-following 指标可以使用单独的 gt_dataset_action_following 和 generated_dataset_action_following 根目录。

Checkpoint

生成的 config 会优先使用 WorldFoundry base-model assets。完整 Track 1 scoring 可能需要 CLIP、DINO、MUSIQ、RAFT、SEA-RAFT、VFIMamba、Depth-Anything、Qwen2.5-VL、Qwen3-VL 和 SAM3。把 WorldArena 相关权重放到一个 checkpoint root 后传给 runner：

export WORLDFOUNDRY_WORLDARENA_CKPT_DIR=/path/to/checkpoints/worldarena

指标

Metric	含义
`visual_quality`	汇总图像质量、美学分数，以及与真实 embodied video 的分布相似性。
`motion_quality`	结合 dynamic degree、optical-flow intensity 和 motion smoothness。
`content_consistency`	衡量场景、主体和 photometric consistency。
`physics_adherence`	判断 robot-object 物理合理性和 trajectory accuracy。
`three_d_accuracy`	衡量深度和 perspective plausibility。
`controllability`	衡量 instruction、semantic 和 action-following alignment。
`data_engine_success`	使用生成视频作为训练数据时的下游 policy success。
`policy_evaluator_correlation`	World-model rollout judgment 与 simulator success 的相关性。
`action_planner_success`	World model + inverse-dynamics head 的闭环规划成功率。
`human_quality`	人类对质量、instruction following 和 physical plausibility 的评分。
`ewm_score`	WorldArena 归一化维度的官方聚合分。

WorldFoundry 仓内执行目前聚焦 video-quality metric runtime。Functional-utility 和官方 leaderboard evidence 仍需要官方 Track 2 流程和提交产物。

运行 Track 1 Video-Quality Metrics

重新计算指标时使用 direct runner，因为它能显式传 prepared dataset roots 和 checkpoint root：

PYTHONPATH=. "${WORLDFOUNDRY_UNIFIED_PYTHON:-python}" \
  worldfoundry/evaluation/tasks/execution/runners/worldarena/run_worldarena_official_runner.py \
  --run-official \
  --generated-dataset-dir /path/to/worldarena/prepared/generated_dataset \
  --gt-data-dir /path/to/worldarena/prepared/gt_dataset \
  --ckpt-root "${WORLDFOUNDRY_WORLDARENA_CKPT_DIR}" \
  --dimension image_quality motion_smoothness semantic_alignment depth_accuracy action_following \
  --output-dir tmp/worldarena/video-quality \
  --json

如果你已经有 WorldArena config YAML，可以直接传入：

PYTHONPATH=. "${WORLDFOUNDRY_UNIFIED_PYTHON:-python}" \
  worldfoundry/evaluation/tasks/execution/runners/worldarena/run_worldarena_official_runner.py \
  --run-official \
  --config-path /path/to/worldarena_config.yaml \
  --dimension image_quality motion_smoothness semantic_alignment \
  --output-dir tmp/worldarena/video-quality-config \
  --json

导入已有结果

如果你已经有 WorldArena 产出的 *_results.json、results.json 或 summary file，使用公开 CLI 导入：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id worldarena \
  --mode official-validation \
  --official-results-path /path/to/worldarena_results.json \
  --generated-artifact-dir /path/to/worldarena/generated_videos \
  --output-dir tmp/worldarena/imported \
  --json

输出

WorldFoundry 会写出：

scorecard.json
raw_metric_table.jsonl
执行 video-quality runtime 时的 worldarena_official_runtime.log
runtime 输出目录下的 upstream *_results.json

官方 leaderboard submission 仍需要按 WorldArena archive structure 保留生成视频和 model documentation。WorldFoundry scorecard 是本地证据；是否进入 leaderboard 仍以 WorldArena 官方提交流程为准。

返回 Benchmark Hub

WorldArena

相关页面