Code2Worlds-2: Physically Plausible Agent Harness for Embodied World Simulation

📄 arXiv: 2610.17651v1 📥 PDF

作者: Haoyu Zhang, Siming Li, Zeyu Zhang, Yi Zhang, Tat-Seng Chua, Hao Tang

分类: cs.RO, cs.CV

发布日期: 2026-10-13

备注: Code: https://github.com/AIGeeksGroup/Code2Worlds-2, Website: https://aigeeksgroup.github.io/Code2Worlds-2

💡 一句话要点

提出Code2Worlds-2以解决动态世界生成的物理语义缺失问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动态世界生成 物理语义 具身模拟 机器人交互 视觉-语言模型 自动化评估 场景编译

📋 核心要点

  1. 现有的动态世界生成方法缺乏物理语义，导致生成内容无法在物理引擎中有效模拟。
  2. 本文提出了Code2Worlds-2，通过增加SimReady场景编译器和模拟器循环4D精炼器，实现了可执行的世界生成。
  3. 在SimCode4D基准测试中，Code2Worlds-2展示了在多种场景下生成物理合理的场景的能力，显著提升了模拟效果。

📝 摘要（中文）

近年来，编码大型语言模型（LLMs）能够从自然语言合成动态的4D世界，但生成的内容仍然缺乏物理语义，如碰撞几何、质量、摩擦、惯性和关节结构等。为了解决这一问题，本文提出了Code2Worlds-2，一个将4D世界生成转化为具身世界模拟的扩展版本。该方法保留了原有的双流生成管道，并增加了两个模块：SimReady场景编译器和模拟器循环4D精炼器。实验结果表明，Code2Worlds-2能够生成物理上合理、与模拟器兼容且可与机器人交互的场景。

🔬 方法详解

问题定义：本文旨在解决现有动态世界生成方法中缺乏物理语义的问题，导致生成的内容无法在物理引擎中有效模拟，表现为视觉伪影而非真实可执行的动态。

核心思路：论文提出的核心思路是通过引入两个模块，将生成的视觉场景转化为物理引擎可用的表示，从而实现具身的世界模拟。这样设计的目的是使生成的场景不仅在视觉上合理，而且在物理上可执行。

技术框架：整体架构包括两个主要模块：SimReady场景编译器和模拟器循环4D精炼器。前者负责将生成的视觉场景转换为模拟器兼容的表示，后者则通过编译、模拟、评估和精炼的循环过程，将视觉动态转化为可执行的物理动态。

关键创新：最重要的技术创新在于引入了一个自动化的代理工具，能够在模拟中评估和优化物理设置，而不仅仅是代码的生成。这一方法通过替换传统的视觉运动评估器，使用模拟器评估器来检查碰撞深度、稳定性等物理特性。

关键设计：在SimReady场景编译器中，使用了凸分解来分配碰撞网格，并通过视觉-语言模型估计物理属性。此外，模拟器循环4D精炼器中实现了对接触力、关节限制等的动态约束评估，确保生成场景的物理合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SimCode4D基准测试中，Code2Worlds-2在多种场景下表现出色，生成的场景在物理合理性和与机器人交互的兼容性上显著优于现有方法，具体性能提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、虚拟现实和游戏开发等。通过生成物理上合理的场景，能够提升机器人在复杂环境中的交互能力，增强虚拟环境的沉浸感和真实感，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent coding large language models (LLMs) can synthesize dynamic 4D worlds from natural language, but the resulting content remains a visual artifact. It lacks physical semantics such as the collision geometry, mass, friction, inertia, and joint structure, required to enable it to simulate the physical world, and its dynamics are scripted to look plausible rather than designed to execute. What is needed is an executable world: one that a physics engine can load and step, resolving contact physically. We present Code2Worlds-2, an extension of Code2Worlds that turns 4D world generation into an embodied world simulation. We keep the original dual-stream generation pipeline intact and append two modules. First, a SimReady Scene Compiler that turns a generated visual scene into a simulator-compatible representation: it assigns collision meshes via convex decomposition, estimates physical attributes with a vision-language model, infers a lightweight support graph, instantiates the engine's contact, friction, and dynamics constraints, and applies a gravity settling pass, before exporting the scene as MuJoCo MJCF. Second, a Simulator-in-the-Loop 4D Refiner that implements an automated agent harness-a compile, simulate, critique and refine loop-that converts visual dynamics into executable rigid and articulated dynamics and evolves the physical settings rather than only the code, replacing the purely visual motion critic with a simulator critic that inspects penetration depth, collision pairs, stability, contact forces, joint limits, and robot reachability. We further propose SimCode4D, a state-based benchmark with five task templates for evaluating embodied simulation. Experiments on SimCode4D and across natural, indoor, industrial, urban, and service scenes show that Code2Worlds-2 produces physically plausible, simulator-compatible, and robot-interactable scenes.