运行环境

为模型族、基准运行时和验证阶段选择依赖栈。

本页内容

介绍

运行环境指一个模型或基准预期的依赖和启动上下文:Python 包、CUDA/Torch 桶、可选系统工具、checkpoint 布局、设备假设和命令形状。

仓库元数据里仍然使用 runtime_profile 这个字段,因为它指向 worldfoundry/data/models/runtime/profiles/<model-id>.yaml 中的一条具体环境记录。在面向读者的文档里,这个概念统一称为运行环境。

WorldFoundry 统一使用 conda 路径。文档里的标准流程为主框架创建一个命名 conda 环境;只有上游 simulator 或 official runtime 需要隔离时,才创建单独 conda 环境。

  1. 模型推理默认从 bash scripts/setup/bootstrap_worldfoundry.sh 开始。
  2. bash scripts/setup/model_env_install.sh --list 查看所有 model-to-env 映射;需要某个模型的精确环境时使用 --model <model-id>
  3. 当解析出的 profile 是 worldfoundry-unified-<tier> 时,继续使用统一环境。
  4. 只有 runtime/environments/<category>/<model-id>.yaml 记录 ABI 或 simulator 约束时,才切换到专用环境。
  5. 只有 official metrics、reference metrics 或 physics stacks 使用 benchmark-specific scripts。

Clone 后可运行的 setup 脚本

下面这些脚本都从仓库根目录运行。它们是开源发布面的一部分,不是本地临时 笔记。

  • scripts/setup/bootstrap_worldfoundry.sh — clone 后第一条命令。创建/验证统一环境,写出 tmp/worldfoundry_unified_env.sh,可选安装模型专用环境,可选准备模型资产,并打印 Workspace 启动命令。
  • scripts/setup/unified_install.sh — 只安装主 GPU runtime。创建 worldfoundry-unified-<cuda-tier>,安装 requirements/worldfoundry-unified.txt、PyTorch CUDA wheels、可选 flash-attn,并做 import/CUDA 检查。
  • scripts/setup/model_env_install.sh — 逐模型解析环境。读取 worldfoundry/data/models/runtime/environments/**;能合并进统一环境的 profile 会回到统一环境,只有硬 ABI 冲突才创建专用环境。
  • scripts/inference/prepare_model_infer.sh — 逐模型准备 checkpoint/Hugging Face 资产。默认是 plan/check-local;确认 license、gated access 和存储后才加 --download
  • scripts/workspace/run_workspace.sh — 从已激活 runtime 启动浏览器 Workspace。显式设置 PYTHONPATH=.WORLDFOUNDRY_WORKSPACE_MAX_JOBSWORLDFOUNDRY_CKPT_DIR

推荐 fresh-clone 路径:

git clone https://github.com/OpenEnvision/WorldFoundry.git
cd WorldFoundry

bash scripts/setup/bootstrap_worldfoundry.sh
source tmp/worldfoundry_unified_env.sh
conda activate "${WORLDFOUNDRY_UNIFIED_ENV_PREFIX}"

环境 prefix 是机器本地产物。如果已有 checkout 报缺少 python3.x、原生 模块或 libssl/libcrypto,应重建环境,或先运行公开验证入口:

bash scripts/setup/bootstrap_worldfoundry.sh --verify-only

下载 checkpoint 前,先审查某个模型的环境和资产计划:

bash scripts/setup/bootstrap_worldfoundry.sh \
  --with-model matrix-game-2 \
  --prepare-model matrix-game-2

确认准备好存储和权限后,再下载公开资产:

export HF_TOKEN=<your-token-if-needed>
bash scripts/setup/bootstrap_worldfoundry.sh \
  --with-model matrix-game-2 \
  --prepare-model matrix-game-2 \
  --download-model-assets

--download-model-assets 会转发到对应模型的准备脚本。它不会绕过 Hugging Face gated 模型限制;用户仍需先在 HF 接受条款,并自行提供 HF_TOKENHUGGING_FACE_HUB_TOKEN

多模型机器先安装一次统一环境,再显式验证例外环境:

bash scripts/setup/bootstrap_worldfoundry.sh \
  --with-model lingbot-world \
  --with-model octo \
  --prepare-model lingbot-world \
  --prepare-model octo

setup 后启动 Workspace:

source tmp/worldfoundry_unified_env.sh
conda activate "${WORLDFOUNDRY_UNIFIED_ENV_PREFIX}"
PYTHONPATH=. WORLDFOUNDRY_WORKSPACE_MAX_JOBS=8 \
python -m worldfoundry.studio.workspace_app --host 127.0.0.1 --port 7870

如果 datasets 或 checkpoints 要放到共享存储,显式传入路径:

bash scripts/setup/bootstrap_worldfoundry.sh \
  --home /path/to/worldfoundry-home \
  --data-root /path/to/worldfoundry-data \
  --model-root /path/to/worldfoundry-models

Runtime 变量

bootstrap_worldfoundry.shunified_install.sh 会写出同一套可 source 的 env 文件。这个文件应保留在本机;里面是路径,不应包含密钥。

变量setup 是否写入用途
WORLDFOUNDRY_HOME本地 runtime state 根目录。
WORLDFOUNDRY_REPO_ROOT当前 WorldFoundry checkout 的绝对路径。
WORLDFOUNDRY_CACHE_DIR通用 cache 根目录。
WORLDFOUNDRY_DATA_DIRdataset 和 benchmark data 根目录。
WORLDFOUNDRY_MODEL_DIRmodel asset 根目录。
WORLDFOUNDRY_CKPT_DIR非 HF 固定布局和兼容软链用的 checkpoint 根目录。
WORLDFOUNDRY_ARTIFACT_DIR生成输出和验证产物根目录。
WORLDFOUNDRY_CONDA_ENVS_ROOT统一环境和专用环境的父目录。
WORLDFOUNDRY_UNIFIED_ENV_PREFIX主 conda 环境绝对路径。
WORLDFOUNDRY_CUDA_PROFILE解析出的 CUDA wheel tier;CUDA 12.8+ 主机通常是 cu128
HF_HOME, HF_HUB_CACHE, HF_DATASETS_CACHE使用 WorldFoundry 管理 HF cache 时的 Hugging Face cache 根目录。
HF_TOKEN, HUGGING_FACE_HUB_TOKEN用户自行提供的 gated asset 凭据。不要提交这些变量。

公开 checkpoint 优先使用 Hugging Face 原生加载策略:from_pretrainedsnapshot_download 和标准 HF cache 变量。WORLDFOUNDRY_CKPT_DIR 用于上游 runtime 需要固定目录布局的情况,或用软链保持官方路径而不重复复制大文件。

模型专用环境例外

所有模型默认都先从 worldfoundry-unified-<cuda-tier> 开始。只有下表这些 profile 存在真实 ABI 或框架族冲突时,才单独创建 conda 环境。

安装某个例外环境:

bash scripts/setup/model_env_install.sh --model <model-id>

准备某个模型时,优先使用 scripts/inference/prepare_model_infer.sh;它会先解析并 安装对应环境,再检查或下载资产。只有只想安装环境、不碰 checkpoint 时,才直接用 scripts/setup/model_env_install.sh

模型专用环境Setup 命令说明
ac3dac3dbash scripts/inference/prepare_model_infer.sh ac3d --download官方 runtime 固定 Python 3.10、PyTorch 2.4 和 CUDA 12.4。推理代码在仓内 worldfoundry/synthesis/visual_generation/ac3d/ac3d_runtime;外部只需要 checkpoint/asset。
cosmos3worldfoundry-cosmos3-cu128bash scripts/inference/prepare_model_infer.sh cosmos3 --downloadCosmos3 需要 torch 2.10、torchvision 0.25、Diffusers 0.39 和 Cosmos Guardrail。精确版本的 Cosmos3 pipeline/transformer/AVAE 推理增量已在仓内;setup 只安装发布包,不 clone 源码仓库。
gen3cgen3cbash scripts/inference/prepare_model_infer.sh gen3c --download仅推理的 Cosmos Predict1 栈需要 Python 3.10、CUDA 12.4、torch 2.6、Transformer Engine 和 MoGe。setup 只对发布包做 Transformer Engine include/link patch,不再 clone 或构建训练专用的 Apex 仓库。
lyra-1lyrabash scripts/inference/prepare_model_infer.sh lyra-1 --download复用 GEN3C 同类的仅推理 Cosmos Predict1 / Transformer Engine 依赖。
magi-1magi-official-cu124bash scripts/inference/prepare_model_infer.sh magi-1 --download官方栈是 Python 3.10.12、PyTorch 2.4 / CUDA 12.4。flash-attn 和 flashinfer wheel 对 ABI 敏感,需要留在这个环境。
warp-as-historywarp-as-historybash scripts/inference/prepare_model_infer.sh warp-as-history --download固定 Python 3.10、torch 2.5.0+cu121、diffusers 0.36、transformers 4.51 和 peft 0.17。
hunyuanvideo-t2vHunyuanVideobash scripts/inference/prepare_model_infer.sh hunyuanvideo-t2v --download原始 HunyuanVideo T2V CLI 栈,隔离旧 diffusers/xfuser 兼容依赖。HunyuanVideo-1.5 不属于这个例外,走统一环境。
hunyuanvideo-i2vHunyuanVideobash scripts/inference/prepare_model_infer.sh hunyuanvideo-i2v --download和 T2V 复用原始 HunyuanVideo 环境。I2V runtime 使用仓内官方 image-to-video 脚本和独立 I2V checkpoint 布局。
kairos-sensenovakairos-sensenovabash scripts/inference/prepare_model_infer.sh kairos-sensenova --download使用官方 torch/CUDA 12.6 级别依赖和 SageAttention 等 native attention 包;统一 CUDA 环境没有 Kairos attention 栈时用这个环境。
lingbot-worldlingbot-world-actlingbot-worldbash scripts/inference/prepare_model_infer.sh lingbot-world --downloadBase-Cam 与独立 catalog 的公开 Base-Act checkpoint 复用仓内 runtime。parity 需要精确 torch 和 flash-attn pins;统一环境在上游式测试里生成过近黑色视频。
wonderworldwonderworldbash scripts/inference/prepare_model_infer.sh wonderworld --download推理路径会 import PyTorch3D CUDA 扩展;运行 official path 前需要安装或构建与该环境匹配的 PyTorch3D wheel。
wonderjourneywonderworldbash scripts/inference/prepare_model_infer.sh wonderjourney --download复用 WonderWorld 的 PyTorch3D 扩展环境,WonderJourney runtime 代码已在仓内。
hunyuan-game-craftHYGameCraftbash scripts/inference/prepare_model_infer.sh hunyuan-game-craft --download官方推理依赖 HYGameCraft 和 torchrun sequence parallelism。专用环境包含 CUDA 12.4 toolkit,并从 PyPI 发布包构建固定版本 flash-attn 2.6.3,不 clone 它的 Git 仓库;共享 GPU 机器上要显式设置 cuda_visible_devices / torchrun_nproc_per_node
octoworldfoundry-octo-jaxbash scripts/inference/prepare_model_infer.sh octo --downloadJAX CUDA 11.8、Flax 0.7.5、TensorFlow、dlimp 和 Octo tokenizer 资产需要与 PyTorch CUDA 环境隔离。
lapaworldfoundry-lapa-jax-cu118bash scripts/inference/prepare_model_infer.sh lapa --download使用官方 Python 3.10、JAX 0.4.25 CUDA 11/cuDNN 8.6、Flax 0.8.2、Tux 0.0.2 和 Transformers 4.40 推理栈。Transformers 5 已移除 LAPA 依赖的 Flax generation 模块,因此必须隔离。
openvla-oftworldfoundry-vla-openvla-compat-cu121bash scripts/inference/prepare_model_infer.sh openvla-oft --downloadPrismatic/OpenVLA 兼容栈,使用较旧 transformers/timm/tokenizers;LIBERO/ALOHA OpenVLA-OFT 推理走这个环境。
cogactworldfoundry-vla-openvla-compat-cu121bash scripts/inference/prepare_model_infer.sh cogact --download和 OpenVLA-OFT 复用兼容环境,inference-only 加载会复用已落盘的 OpenVLA Llama tokenizer;只有本地既没有兼容 tokenizer、也没有完整 Llama-2 mirror 时才需要 token。
lingbot-valingbot-vabash scripts/inference/prepare_model_infer.sh lingbot-va --downloadprepare-only profile,对齐官方 Python 3.10、torch 2.9、CUDA 12.6、flash-attn 栈;rollout 前先 stage LingBot-VA base/posttrain checkpoints。
being-h05beinghbash scripts/inference/prepare_model_infer.sh being-h05 --downloadprepare-only profile。需要 stage 全部 Being-H0.5 checkpoints;完整 get_action parity 需要上游 policy 栈,并且单张 80GB GPU profile 余量不够。
dreamdojodreamdojobash scripts/inference/prepare_model_infer.sh dreamdojo --downloadprepare-only profile,记录官方面向 H100 级主机的 torchcodec/CUDA 12.8 设置;启用真实命令模板前需要先准备 GR-1 eval dataset。

EvalCrafter 是当前唯一由 WorldFoundry 管理专用 metric profile 的 benchmark。 其他 benchmark 的 native stack 会在下一节单独列出;只有各自 preflight 通过后才算已配置。

统一环境但需要额外 runtime 条件

下表模型仍然使用 worldfoundry-unified-<cuda-tier>,但文档里必须写清楚额外的本地 资产、编译 wheel 或外部服务。这些都不是 clone 外部 repo 的理由;代码路径仍然在仓内。

模型或模型族额外条件说明
使用统一环境的 WRBench camera/world 集成(EasyAnimate、Hunyuan WorldPlay、HunyuanWorld-Voyager、InSpatio-World、Matrix-Game 2/3、ReCamMaster、SANA-WM、ATI、HyDRA、Spatia、minWM、MagicWorld、LiveWorld、VerseCrafter、VideoX-Fun camera variants、HY-World renderer)各 profile 声明的 Hugging Face checkpoint;Spatia 默认 MapAnything checkpoint 仅限非商业研究。这些模型使用 worldfoundry-unified-<cuda-tier>,并各自保留独立的仓内推理 binding。Wan2.1、MapAnything、UniCeption、Uni3C、Depth Pro、STream3R、SAM3 视频分割、Qwen3-VL 实体提取和点云投影等可复用组件统一放在 base_models,runtime config 放在 worldfoundry/data;setup 不 clone 外部源码仓库。AC3D、Cosmos3、GEN3C、Hunyuan GameCraft 和两个 LingBot 路由使用上表专用环境。
SkyReels V3官方 8 卡 USP 路径需要 CUDA compiler、flash-attn 和 torchao。运行不带 --skip-flash-attnunified_install.sh,或用 scripts/setup/install_flash_attn.sh 构建 flash-attn。
Matrix-Game-3flash-attn。config 可能请求 FA3;A100 验证主机上回退到 FA2 是可接受的。
HunyuanWorld-Mirror与当前 CUDA/PyTorch 匹配的 gsplat wheel。wheel 匹配当前 torch 栈时,仍属于统一环境模型。
pixelSplat本地 Gaussian rasterization 扩展和 re10k.ckpt模型 wrapper 在仓内;只需要用户准备扩展和 checkpoint。
LingBot-Map可选 FlashInfer。wrapper 默认走 SDPA,所以 baseline 推理不强制依赖 FlashInfer。
OpenPI / MME-VLAJAX policy 依赖、部分 OpenPI checkpoint shards 需要 gsutil,完整 policy rollout 可能需要 OpenPI 风格 websocket 或 robot-simulator 服务。WorldFoundry 保留仓内代码;这些是运行时服务或 checkpoint 传输工具,不是外部 repo clone。LAPA 使用上表中的独立环境。
SolarisJAX/Orbax checkpoint 加载和官方 HF evaluation fixtures。WorldFoundry 中走统一环境;文档重点写 dataset/checkpoint 结构,不写单独 conda 环境。

Benchmark Metric 专用环境

大多数 benchmark contract 检查和 official-result normalizer 可以在统一环境中运行。 如果完整官方指标套件会污染模型推理环境,则使用单独 conda profile。安装仍然走 同一个公开入口:

42 个 Video Generation / World Model 条目的完整映射见 benchmark 运行环境矩阵。该矩阵也记录 外部 API service、native extension、checkpoint stack 和当前 verified scope; needs_new_env: false 本身不代表 full-suite ready。

bash scripts/setup/model_env_install.sh --model evalcrafter

EvalCrafter 已支持的三项 CLIP 指标和 final_result.txt 导入都运行在 worldfoundry-unified-<tier>。独立的 worldfoundry-evalcrafter-metrics profile 逐项对齐官方 revision 的 Python 3.9.17、pip 23.2.1、Torch 2.0.1、torchvision 0.15.2、TensorFlow 2.12.0、PaddlePaddle-GPU 2.5.1、MMCV 2.0.1 和 MMAction2 1.1.0 pins;它只负责准备 upstream 依赖面,不表示 WorldFoundry 已经编排完整 scorer。

Benchmark 族环境边界已验证范围
EvalCrafter三项官方 CLIP 派生指标与结果导入使用统一环境;外部完整栈使用官方旧版独立环境准备。bounded metric 路径已验证;环境准备已有文档,但完整 17 项重算和 leaderboard 输出仍不支持。
iWorld-Bench使用统一环境,包含固定版本的仓内 ViPE 原生源码和 CUDA 构建。WORLDFOUNDRY_IWORLD_BENCH_PYTHON 只是给非标准、ABI 兼容 Python 的可选覆盖。一个真实 16 帧视频已跑通官方 memory_ability 组件路径。未覆盖 bundled 三条 prompt 和全部九个组件指标,因此 full-suite 和 leaderboard validity 仍为 false。
VBench / VBench-2.0 / VBench++统一环境,加所选 dimension 对应的 checkpoint 和可选 perception package。只验证 bounded official dimension;每个所选 dimension 都必须单独通过 preflight。
T2V-SafetyBench统一 client 环境,加用户提供的 judge API endpoint/key。API 失败会 fail closed;本地 fixture 不会被声明成真实 judge 结果。

不能因为 import 成功就推断独立环境已经可用。catalog/runtime profile 必须写出 Python 入口或 setup 命令、资产要求和已验证范围;如果还没有可复现的环境配置,对应 metric 必须保持 blocked,不能通过 fallback 分数伪装成成功。

可复用 foundation model 放在 worldfoundry/base_models。这些组件为后续完整套件集成提供 基础;组件存在并不代表当前 bounded EvalCrafter runner 已经调用它们:

组件仓内位置说明
DeepFace runtimeworldfoundry/base_models/perception_core/face/deepface可供后续 celebrity identity 集成;当前支持的 CLIP 子集不会执行它。
DOVER runtimeworldfoundry/base_models/perception_core/video_quality/dover可供后续视频质量集成;当前支持的 CLIP 子集不会执行它。
VideoMAE action recipeworldfoundry/base_models/perception_core/action_recognition/videomae_mmaction只保留 EvalCrafter 实际使用的 VideoMAEv2 config 和 Kinetics-400 label map。MMAction2 作为环境依赖安装,不把完整框架源码复制进仓库。

已支持的子集只需要 CLIP ViT-B/32;将它放到标准 checkpoint root,或显式设置覆盖变量:

export WORLDFOUNDRY_CLIP_VIT_B32_MODEL_DIR="${WORLDFOUNDRY_HFD_ROOT}/openai--clip-vit-base-patch32"

无代理下载与 smoke 命令见 EvalCrafter benchmark 页面。 完整上游套件还要求 generated-video 目录直接包含 0000.mp40699.mp4,但 WorldFoundry 当前不宣称完整路径可用。

Embodied Simulator 环境

Host 侧只需要 Docker 和统一 WorldFoundry 环境:

bash scripts/setup/bootstrap_worldfoundry.sh
source tmp/worldfoundry_unified_env.sh
docker pull ghcr.io/allenai/vla-evaluation-harness/robotwin:latest
worldfoundry-eval embodied run \
  --config worldfoundry/data/benchmarks/eval_configs/embodied/robotwin/eval.yaml \
  --pull-docker

如果 benchmark config 直接写了 docker.image,或通过 worldfoundry/data/benchmarks/runtime_profiles/official/<benchmark>.yaml 解析出 docker.image,就会由 worldfoundry/evaluation/tasks/embodied/docker_runner.py 通过 Docker 启动。容器内 负责 simulator 依赖;host 侧只负责挂载 dataset/checkpoint/result,并提供 policy server endpoint。

常见问题排除 (Troubleshooting)

在处理涉及 CUDA、物理模拟器或外部评估器的复杂环境时,您可能会遇到以下问题:

1. CUDA 版本不匹配

现象:遇到 CUDA error: no kernel image is available for execution on the device 或者 PyTorch 找不到 GPU。 解决办法:确保主机的 NVIDIA 驱动足够新,能支持 Conda 安装的 CUDA 版本。如果您使用的是旧版驱动,可以在安装时强制指定旧的 CUDA bucket:

bash scripts/setup/unified_install.sh --cuda cu121

2. 缺失系统级依赖(针对 OpenGL/3D)

现象:运行具身模拟器或 3D benchmark 时,出现有关 libGL.so.1EGL 或 headless 渲染失败的错误。 解决办法:安装必需的系统级图形库。在 Ubuntu/Debian 系统上:

sudo apt-get update && sudo apt-get install -y libgl1-mesa-glx libglib2.0-0

3. Flash Attention 安装失败

现象:在统一安装脚本编译 flash-attn 时卡住或报错。 解决办法flash-attn 对 CUDA 编译器 (nvcc) 的版本匹配要求极其严格。请确保本机的 nvcc --version 和 PyTorch 携带的 CUDA 版本一致。如果实在无法编译,可以直接去官方 Release 页面下载对应的 pre-compiled wheel 手动安装。