AIGCBench

评测内容

AIGCBench 面向图像到视频生成，按官方论文和项目资产中的四类能力评测：control-video alignment、motion effects、temporal consistency 和 video quality。官方数据集由 WebVid validation 视频、LAION-aesthetics 图文对，以及 "Ours" 生成图文集组成。WorldFoundry 的仓内 runner 负责整理 prompt 记录，并导入 AIGCBench 评分流水线产出的指标表。

这里的仓内入口不是 CLIP、DOVER、光流和参考视频指标的完整独立复刻。它需要已有的指标结果文件，或者由本地 WorldFoundry 评测栈产出的 scorer 结果。

数据与产物布局

WorldFoundry 按下面顺序寻找 AIGCBench prompt suite：

• --prompt-manifest <path>
• WORLDFOUNDRY_AIGCBENCH_PROMPT_MANIFEST
• 内置的 worldfoundry/data/benchmarks/assets/aigcbench/prompt_suite.json
• WORLDFOUNDRY_AIGCBENCH_DATASET_ROOT 指向的 HF 数据集目录
• 默认本地 HF 缓存中的 stevenfan/AIGCBench_v1.0

HF 数据集中常用文件包括：

• webvid_eval_1000.txt：WebVid prompt / reference-video id。
• Laion-aesthetics_select_samples.txt：LAION 图像 prompt。
• t2i_625/、t2i_aspect_ratio_625/ 或 AIGCBench/t2i_625/：图像条件 prompt 资产。

候选视频放在一个扁平目录中，文件名使用 prompt id：

<generated_videos>/
  <prompt_id>.mp4
  <prompt_id>.webm

支持的视频后缀是 .mp4、.mov、.mkv、.webm 和 .avi。覆盖率通过视频文件 stem 与 prompt manifest 中的 prompt id 匹配计算。

依赖说明

完整产出指标时，评分侧需要 AIGCBench 所要求的参考图片/视频、CLIP ViT-L/14、DOVER 和光流工具。仅导入结果时，WorldFoundry runner 只需要能导入本仓 Python 包，并提供指标结果文件。

可以下载 HF 数据集。本文不要求外部仓库 checkout，因为 WorldFoundry 集成已经在仓内。

支持的命令

先设置生成产物目录：

export WORLDFOUNDRY_GENERATED_ARTIFACT_DIR=/path/to/aigcbench/generated_videos

通过公开 CLI 导入已有 AIGCBench 指标报告：

worldfoundry-eval zoo benchmark-run \
  --benchmark-id aigcbench \
  --mode official-validation \
  --official-results-path /path/to/aigcbench_results.csv \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --prompt-manifest /path/to/prompt_suite.json \
  --output-dir tmp/aigcbench/import \
  --json

需要使用 runner 原生参数时，直接调用仓内 runner：

PYTHONPATH=. "${WORLDFOUNDRY_UNIFIED_PYTHON:-python}" \
  worldfoundry/evaluation/tasks/execution/runners/aigcbench/run_aigcbench_official_runner.py \
  --official-results-path /path/to/aigcbench_results.csv \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --prompt-manifest /path/to/prompt_suite.json \
  --output-dir tmp/aigcbench/import \
  --json

如果本地 WorldFoundry 指标栈已经能从生成视频产出 AIGCBench 结果，可使用同一 runner 的 --run-official：

PYTHONPATH=. "${WORLDFOUNDRY_UNIFIED_PYTHON:-python}" \
  worldfoundry/evaluation/tasks/execution/runners/aigcbench/run_aigcbench_official_runner.py \
  --run-official \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --prompt-manifest /path/to/prompt_suite.json \
  --output-dir tmp/aigcbench/run \
  --json

导入路径

• Runner：worldfoundry.evaluation.tasks.execution.runners.aigcbench.run_aigcbench_official_runner
• 指标：worldfoundry.evaluation.tasks.execution.runners.aigcbench.aigcbench_metrics
• Prompt 与产物布局：worldfoundry.evaluation.tasks.execution.runners.aigcbench.aigcbench_prompts
• Runtime adapter：worldfoundry.evaluation.tasks.execution.runners.aigcbench.aigcbench_runtime

结果文件格式

导入器接受 JSON 或 CSV 风格的结果行。它可以读取带 metric_id 和 score 的汇总行，也可以读取以指标为列的 per-sample 行。mse、ssim、clip_per 以及 AIGCBench 展示名会映射到下面的规范指标 id。

--output-dir 下会写出：

• scorecard.json：benchmark 状态、覆盖率、指标表和输出路径。
• raw_metric_table.jsonl：每个声明指标一行。
• per_sample_scores.jsonl：当输入结果包含 sample id 时写出 per-sample 子集。

指标

主指标：aigcbench_average。

← 返回 Benchmark Hub