VBench++

已接入

VBench++ I2V、long-video 和 trustworthiness 评测，包含仓内 runtime 和 variant-specific 命令。

最后更新: 2026年7月11日

本页内容

简介 Variants 资产与生成产物权重与 Runtime 运行 I2V 运行 Long-Video Metrics 运行 Trustworthiness Metrics 导入已有结果输出文件

简介

VBench++ 将 VBench 系列从短 text-to-video 评分扩展到 image-to-video、long-video 和 trustworthiness 维度，覆盖 fairness、bias 和 safety。TPAMI 2025 论文把它定义为一个更通用的视频生成 benchmark suite，用于比较不同生成条件和风险维度下的模型能力。

WorldFoundry 已经把 VBench++ runtime 集成在 worldfoundry/evaluation/tasks/execution/runners/vbench_plus_plus。官方 VBench project 只作为 protocol 参考；WorldFoundry 运行的是仓内 variant runtimes。

官方参考：

VBench series project: vchitect.github.io/VBench-project
Paper: arXiv:2411.13503
VBench-I2V Arena: Vchitect/VBenchI2V_Video_Arena
仓内 runner: worldfoundry/evaluation/tasks/execution/runners/vbench_plus_plus/run_vbench_plus_plus_official_runner.py
仓内 runtime: worldfoundry/evaluation/tasks/execution/runners/vbench_plus_plus/runtime

Variants

runner 必须传 --variant。

Variant	用途	Runtime entry
`i2v`	Image-to-video 评测，输入 reference images 和生成视频。	`runtime/entrypoints/i2v.py`
`long`	Long-video 评测，关注更长时间范围内的质量和一致性。	`runtime/entrypoints/long.py`
`trustworthiness`	Culture/fairness、gender bias、skin bias 和 safety。	`runtime/entrypoints/trustworthiness.py`

WorldFoundry 会聚合出：

vbench_plus_plus_i2v_average
vbench_plus_plus_long_average
vbench_plus_plus_trustworthiness_average
vbench_plus_plus_average

资产与生成产物

prompt 和 metadata assets 已经在仓内：

I2V: worldfoundry/data/benchmarks/assets/vbench-plus-plus/i2v/vbench2_i2v_full_info.json
Long video: worldfoundry/data/benchmarks/assets/vbench-plus-plus/long/VBench_full_info.json
Trustworthiness: worldfoundry/data/benchmarks/assets/vbench-plus-plus/trustworthiness/vbench2_trustworthy.json

候选模型生成视频由用户提供：

export WORLDFOUNDRY_GENERATED_ARTIFACT_DIR=/path/to/vbench-plus-plus/generated_videos

I2V custom-image 评测还需要 reference image folder：

export WORLDFOUNDRY_VBENCH_I2V_IMAGE_FOLDER=/path/to/vbench-plus-plus/reference_images

Long-video custom input 建议把长视频直接放在生成产物根目录下：

/path/to/vbench-plus-plus/generated_videos/
  long_video_0001.mp4
  long_video_0002.mp4

long-video runner 会在需要时准备 upstream metric code 期望的 split-clip layout。

候选模型训练和推理不属于 VBench++ 本身。先用模型 package 生成视频，再导出到对应 variant 需要的 layout。

权重与 Runtime

VBench++ 复用 VBench metric stack，并增加 variant-specific perception/judge assets。先准备 VBench evaluator cache：

export WORLDFOUNDRY_VBENCH_CACHE_DIR=/path/to/cache/models/vbench
export VBENCH_CACHE_DIR="${WORLDFOUNDRY_VBENCH_CACHE_DIR}"

常见依赖包括 CLIP/DINO、RAFT、GroundingDINO、SAM-family segmentation、image-quality models、部分 trustworthiness 维度需要的 face detection，以及各 variant scorer 权重。可复用代码在 worldfoundry/base_models，checkpoint 文件仍然是本地运行资产。

运行 I2V

--variant i2v 用于 image-to-video 评分。选中维度需要 aspect ratio 时，通过 --ratio 传入。

cd /path/to/WorldFoundry

PYTHONPATH=. "${WORLDFOUNDRY_UNIFIED_PYTHON:-python}" \
  worldfoundry/evaluation/tasks/execution/runners/vbench_plus_plus/run_vbench_plus_plus_official_runner.py \
  --variant i2v \
  --videos-path "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --full-json-dir "$PWD/worldfoundry/data/benchmarks/assets/vbench-plus-plus/i2v/vbench2_i2v_full_info.json" \
  --dimension i2v_subject \
  --mode custom_input \
  --custom-image-folder "${WORLDFOUNDRY_VBENCH_I2V_IMAGE_FOLDER}" \
  --ratio 16-9 \
  --output-dir tmp/vbench-plus-plus/i2v_subject \
  --json

常用 I2V 维度包括 i2v_subject、i2v_background 和 camera_motion。

运行 Long-Video Metrics

--variant long 用于 long-video 评测：

cd /path/to/WorldFoundry

PYTHONPATH=. "${WORLDFOUNDRY_UNIFIED_PYTHON:-python}" \
  worldfoundry/evaluation/tasks/execution/runners/vbench_plus_plus/run_vbench_plus_plus_official_runner.py \
  --variant long \
  --videos-path "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --full-json-dir "$PWD/worldfoundry/data/benchmarks/assets/vbench-plus-plus/long/VBench_full_info.json" \
  --dimension temporal_flickering \
  --mode long_custom_input \
  --output-dir tmp/vbench-plus-plus/long_temporal_flickering \
  --timeout 7200 \
  --json

Long-video 维度复用很多 VBench 维度名，例如 subject_consistency、background_consistency、temporal_flickering、motion_smoothness、dynamic_degree、aesthetic_quality、imaging_quality 和 semantic alignment 维度。

运行 Trustworthiness Metrics

--variant trustworthiness 用于 fairness、bias 和 safety：

cd /path/to/WorldFoundry

PYTHONPATH=. "${WORLDFOUNDRY_UNIFIED_PYTHON:-python}" \
  worldfoundry/evaluation/tasks/execution/runners/vbench_plus_plus/run_vbench_plus_plus_official_runner.py \
  --variant trustworthiness \
  --videos-path "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --full-json-dir "$PWD/worldfoundry/data/benchmarks/assets/vbench-plus-plus/trustworthiness/vbench2_trustworthy.json" \
  --dimension safety \
  --custom-input \
  --output-dir tmp/vbench-plus-plus/trustworthiness_safety \
  --json

Trustworthiness 维度包括 culture_fairness、gender_bias、skin_bias 和 safety。Face-related 维度需要 RetinaFace-compatible checkpoint 和 face runtime dependencies。

导入已有结果

导入官方兼容的 VBench++ 结果 JSON 时，需要选择匹配的 variant：

PYTHONPATH=. "${WORLDFOUNDRY_UNIFIED_PYTHON:-python}" \
  worldfoundry/evaluation/tasks/execution/runners/vbench_plus_plus/run_vbench_plus_plus_official_runner.py \
  --variant long \
  --official-results-path /path/to/vbenchpp_eval_results.json \
  --videos-path "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/vbench-plus-plus/imported_long \
  --json

输出文件

每次运行会写出：

scorecard.json: WorldFoundry 统一 scorecard，包含 variant dimension scores 和 VBench++ aggregate。
raw_metric_table.jsonl: scorecard 使用的 metric rows。
dimension_scores.json: dimension-score summary。
upstream/*_eval_results.json: 重新计算 metric 时的官方 runtime 输出。
upstream_stdout.log 和 upstream_stderr.log: 仓内 runtime 日志。
vbenchpp_long_presplit_manifest.json: 使用 long_custom_input 时的 long-video split preparation metadata。

返回 Benchmark Hub

VBench++

相关页面