Kinetix

归一化

Kinetix — 指标、依赖与运行命令。

最后更新: 2026年7月11日

本页内容

简介指标 Task YAML Primary 环境准备运行环境测评数据 Checkpoint 与资产关键环境变量运行评测设置候选产物目录导入已有官方结果从生成产物重新打分直接调用仓内 runner 依赖与产物 Inputs Environment Outputs

简介

Kinetix external benchmark manifest for JAX physics embodied action evaluation.

指标

Kinetix external benchmark manifest for JAX physics embodied action evaluation.

Task YAML

worldfoundry/data/benchmarks/tasks/external/kinetix.yaml

Primary

success_rate

Metric	关注点
`success_rate`	episode / task 是否成功完成的比例或成功率。
`task_success`	episode / task 是否成功完成的比例或成功率。
`episode_success`	episode / task 是否成功完成的比例或成功率。
`reward`	Kinetix 程序化 2D 刚体控制 puzzle 上的 RL 累计 reward。

环境准备

运行环境

Conda 环境： kinetix-jax。
单独配置： 需要 benchmark 专用 conda 环境，不要与统一 runtime 混用。
Keep Kinetix in a JAX-compatible simulator environment when the unified PyTorch runtime is insufficient.

测评数据

待测模型输出目录：设置 WORLDFOUNDRY_KINETIX_RESULTS_PATH 指向生成视频或 rollout artifact 根目录。
${WORLDFOUNDRY_DATA_DIR}/datasets/kinetix
${WORLDFOUNDRY_CACHE_DIR}/repos/FLAIROx--Kinetix

Checkpoint 与资产

该 benchmark 以官方结果归一化或仿真 rollout 为主；policy / simulator checkpoint 见 catalog requires 与 task YAML。

关键环境变量

WORLDFOUNDRY_KINETIX_ROOT
WORLDFOUNDRY_KINETIX_RESULTS_PATH

运行评测

准备好该 benchmark 页面列出的资产和候选产物后，使用下面的公开运行入口。

设置候选产物目录

export WORLDFOUNDRY_GENERATED_ARTIFACT_DIR=/path/to/generated/artifacts

导入已有官方结果

worldfoundry-eval zoo benchmark-run \
  --benchmark-id kinetix \
  --mode normalizer \
  --official-results-path /path/to/official/results-or-report \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/kinetix/normalizer \
  --json

从生成产物重新打分

worldfoundry-eval zoo benchmark-run \
  --benchmark-id kinetix \
  --mode official-run \
  --generated-artifact-dir "${WORLDFOUNDRY_GENERATED_ARTIFACT_DIR}" \
  --output-dir tmp/kinetix/official-run \
  --json

直接调用仓内 runner

worldfoundry-eval zoo benchmark-run --benchmark-id kinetix --mode official-validation --official-results-path <official_results.json> --output-dir <out> --json