Benchmark Hub

面向 Embodied AI、Video Generation 和 World Models 的开源 benchmark 与 model inventory。

最后更新: 2026年7月11日

本页内容

简介一览 Benchmark 列表 Embodied AI — 22 Video Generation — 27 World Models — 9 如何运行一个 Benchmark 导入 official result 文件让 WorldFoundry 先跑模型 Benchmarks Embodied AI Video Generation World Models

简介

WorldFoundry 的 benchmark / model 索引页。集成状态、blockers、指标与 evidence 以 worldfoundry/data/benchmarks/ 和 worldfoundry/data/models/ 下的 manifest 为准。

本页不发布 leaderboard 排名。

一览

3 类 — Embodied AI · Video Generation · World Models
58 个 benchmark — embodied 22 / video 27 / world models 9
60 个 model — 三大 core catalog（VLA/VA/WAM、open video、world models）
leaderboard-valid cells：0（本页声明）→ 见 Leaderboard Eligibility

worldfoundry-eval zoo benchmarks --json   # 刷新计数

Benchmark 列表

Embodied AI — 22

语言条件智能体、操作、仿真 rollout、动作轨迹、离线策略。当前均为 leaderboard_valid=false。VLA/VA/WAM catalog：15 models。

Video Generation — 27

T2V / I2V 质量、对齐、动态、偏好评审、安全。open-video catalog：19 models。

World Models — 9

长时程 / 交互式世界（action、camera、state、memory）。world-model catalog：26 models。

如何运行一个 Benchmark

先看对应 benchmark 的独立页面。prompt 文件、generated-artifact layout、checkpoint 名称、judge model 和 official result 格式都是 benchmark-specific 的，不能只靠一个全局模板判断。

导入 official result 文件

如果 official benchmark 已经产出了 report / score 文件，导入它：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id <benchmark-id> \
  --mode official-validation \
  --official-results-path <official-result-file-or-dir> \
  --generated-artifact-dir <generated-artifact-dir> \
  --output-dir tmp/<benchmark-id>/official-validation \
  --json

如果 benchmark 页面说明仓内 official runtime 可以直接从 generated artifacts 计算指标，再用 official-run：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id <benchmark-id> \
  --mode official-run \
  --generated-artifact-dir <generated-artifact-dir> \
  --output-dir tmp/<benchmark-id>/official-run \
  --json

让 WorldFoundry 先跑模型

模型已经在 model zoo 中注册，且 benchmark 页面说明支持 facade 时，可以直接运行：

worldfoundry-eval run \
  --benchmark <benchmark-id> \
  --model <model-id> \
  --mode official-run \
  --output-dir tmp/<benchmark-id>/<model-id> \
  --json

如果 generated artifacts 已经存在：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id <benchmark-id> \
  --mode official-run \
  --generated-artifact-dir <generated-artifact-dir> \
  --output-dir tmp/<benchmark-id>/official-run \
  --json

评分前按对应 benchmark 页面匹配 artifact layout：prompt index 视频、case id 视频、prompt id 视频、sampled frame directories、reports 或 structured rollout traces。

Benchmark Hub

相关页面