VideoVerse

已接入

WorldFoundry 中的 VideoVerse world-model T2V 评测。

Markdown 源码

最后更新: 2026年7月11日

本页内容

评测目标官方参考资产与数据生成结果目录依赖命令 Python 导入输出

评测目标

VideoVerse 从 world model 角度评测 text-to-video 生成器：视频是否符合事件顺序、二元验证问题、静态场景常识、动态事件一致性、交互、相机行为、力学与世界知识。

官方标准集包含 300 条 prompt、815 个事件单元和 793 个验证问题。每条 prompt 记录里有用于生成视频的 t2v_prompt，以及后续 judge 使用的事件顺序与 yes/no 检查项。

官方参考

资源	链接
项目页	naptmn.cn/Homepage_of_VideoVerse
论文	arXiv:2510.08398
GitHub	github.com/Zeqing-Wang/VideoVerse
HF 数据集	NNaptmn/VideoVerse
仓内 runner	`worldfoundry/evaluation/tasks/execution/runners/videoverse/run_videoverse_official_runner.py`

资产与数据

WorldFoundry 已经把 VideoVerse runner 和 prompt 资产放在仓内：

资产	路径
Task YAML	`worldfoundry/data/benchmarks/tasks/external/videoverse.yaml`
Prompt manifest	`worldfoundry/data/benchmarks/assets/videoverse/prompt/prompts_of_VideoVerse.json`
Decomposed prompt manifest	`worldfoundry/data/benchmarks/assets/videoverse/prompt/prompts_of_VideoVerse_decomposed.json`
Runner	`worldfoundry/evaluation/tasks/execution/runners/videoverse/run_videoverse_official_runner.py`

可选公开数据资产在仓内记为 videoverse_dataset_assets，对应 Hugging Face 数据集 NNaptmn/VideoVerse。

生成结果目录

每个 prompt key 生成一个视频，直接放在同一个目录下，文件名使用 prompt 字典 key：

/path/to/videoverse/generated/
  8f348e44-546c-4319-aefa-b860c02d9cbc.mp4
  dc4fa681-8b4a-413d-9571-29af7aa36c2e.mp4
  <prompt-id>.mp4

支持 .mp4、.mov、.mkv、.webm、.avi、.m4v。完整评测应覆盖全部 300 个 canonical prompt id。

依赖

in-tree judge 支持几种后端：

后端	必要设置
Gemini 上传/API	`WORLDFOUNDRY_VIDEOVERSE_JUDGE_BACKEND=gemini`，并设置 `GEMINI_API_KEY` 或 `WORLDFOUNDRY_VIDEOVERSE_GEMINI_API_KEY`
Gemini URL 模式	`WORLDFOUNDRY_VIDEOVERSE_JUDGE_BACKEND=url`、API key、`WORLDFOUNDRY_VIDEOVERSE_VIDEO_BASE_URL`
Local VLM	`WORLDFOUNDRY_VIDEOVERSE_JUDGE_BACKEND=local_vlm`、`WORLDFOUNDRY_VIDEOVERSE_LOCAL_VLM_PATH`

Gemini 路径还需要运行环境中安装 google-genai。

命令

先设置生成视频目录：

export WORLDFOUNDRY_GENERATED_ARTIFACT_DIR=/path/to/videoverse/generated
export WORLDFOUNDRY_BENCHMARK_OUTPUT_DIR=tmp/videoverse/run

运行仓内 judge，并对生成的 eval_res.json 计分：

PYTHONPATH=. "${WORLDFOUNDRY_UNIFIED_PYTHON:-python}" \
  worldfoundry/evaluation/tasks/execution/runners/videoverse/run_videoverse_official_runner.py \
  --run-official \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir "${WORLDFOUNDRY_BENCHMARK_OUTPUT_DIR}" \
  --json

导入已有的 official-shaped eval_res.json 或 metric JSON/JSONL：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id videoverse \
  --mode official-validation \
  --official-results-path /path/to/eval_res.json \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/videoverse/import \
  --json

直接 runner 支持 --limit N 做小规模开发运行，但这类结果不能用于 leaderboard 对比。

Python 导入

如果只需要复用计分公式：

from worldfoundry.evaluation.tasks.execution.runners._benchmark_metrics.formulas import videoverse_subquestion_metrics

CLI runner 也可以直接导入：

from worldfoundry.evaluation.tasks.execution.runners.videoverse.run_videoverse_official_runner import (
    normalize_videoverse_results,
    run_official_videoverse,
)

输出

输出目录包含：

文件	含义
`scorecard.json`	运行状态、覆盖率、可比性信息和 leaderboard-facing 指标值。
`raw_metric_table.jsonl`	每个指标一行。
`per_sample_scores.jsonl`	从官方结果中得到的 per-video 或 per-check 行。
`eval_res.json`	使用 `--run-official` 时由仓内 judge 写出。
`judge_responses.jsonl`	仓内 judge 的原始响应。

runner 输出 qa_accuracy、event_coverage、temporal_causality、world_knowledge_consistency、static_scene_consistency、dynamic_event_consistency、videoverse_average。七个指标都是越高越好。

← Benchmark Hub

VideoVerse

相关页面