Coding Agent Is Good As World Simulator
作者: Hongyu Wang, Jingquan Wang, Bocheng Zou, Radu Serban, Dan Negrut
分类: cs.AI
发布日期: 2026-05-14
💡 一句话要点
提出基于代码生成代理的物理世界建模框架，提升交互式模拟环境的物理真实性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion)
关键词: 世界模型 物理模拟 代码生成 交互式环境 具身智能
📋 核心要点
- 现有基于视频的世界模型缺乏对物理约束的显式建模，导致模拟结果在物理上不真实，例如出现不稳定的接触。
- 论文提出一种基于代码生成代理的框架，通过可执行的模拟代码来构建物理世界模型，显式地融入物理约束。
- 实验表明，该框架在物理精度、指令保真度和视觉质量方面优于先进的基于视频的模型，适用于驾驶模拟等场景。
📝 摘要（中文）
世界模型已成为构建交互式模拟环境的强大范例。最近基于视频的方法在生成视觉上逼真的动态效果方面取得了显著进展。然而，由于这些模型通常从视频中推断动态，并将其表示为潜在状态，因此它们没有明确地强制执行物理约束。导致生成的视频序列在物理上不合理，表现出不稳定的接触、扭曲的形状或不一致的运动。本文提出了一个基于代理的框架，通过可执行的模拟代码构建基于物理的世界模型。该框架协调规划、代码生成、视觉审查和物理分析代理。规划代理将自然语言提示转换为结构化的场景计划，代码代理将其实现为可执行的模拟代码，视觉审查代理提供视觉反馈，而物理分析代理检查物理一致性。代码会根据反馈进行迭代修改，直到模拟符合提示要求和物理约束。实验结果表明，我们的框架在物理精度、指令保真度和视觉质量方面优于先进的基于视频的模型，可应用于各种场景，包括驾驶模拟和具身机器人任务。
🔬 方法详解
问题定义：现有基于视频的世界模型在生成交互式模拟环境时，无法保证物理上的真实性。这些模型通常依赖于从视频数据中学习潜在的动态表示，而忽略了物理定律的约束，导致模拟结果出现不稳定的接触、形状扭曲等不符合物理规律的现象。因此，如何构建一个既能生成逼真视觉效果，又能保证物理真实性的世界模型是一个重要的挑战。
核心思路：论文的核心思路是通过可执行的模拟代码来显式地建模物理世界。不同于从视频中学习隐式动态，该方法直接生成描述场景和物理交互的程序代码，并执行这些代码来生成模拟结果。通过这种方式，物理约束被直接编码到模拟过程中，从而保证了模拟结果的物理合理性。
技术框架：该框架包含四个主要代理：规划代理、代码代理、视觉审查代理和物理分析代理。规划代理负责将自然语言描述的场景转换为结构化的场景计划。代码代理将场景计划实现为可执行的模拟代码。视觉审查代理提供视觉反馈，评估模拟结果的视觉质量。物理分析代理检查模拟结果的物理一致性。这四个代理协同工作，通过迭代的方式不断改进模拟代码，直到满足场景描述和物理约束。
关键创新：该方法最重要的创新在于使用代码生成的方式来构建世界模型，从而显式地建模物理约束。与传统的基于视频的方法相比，该方法不再依赖于从数据中学习隐式的动态表示，而是直接通过代码来描述物理世界的运行规律。这种方法可以更好地控制模拟结果的物理真实性，并可以方便地添加新的物理约束。
关键设计：框架的关键设计包括：1) 使用自然语言处理技术将自然语言描述转换为结构化的场景计划；2) 设计代码代理，使其能够根据场景计划生成可执行的模拟代码；3) 实现视觉审查代理和物理分析代理，用于评估模拟结果的视觉质量和物理一致性；4) 设计迭代优化算法，根据视觉和物理反馈不断改进模拟代码。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在物理精度、指令保真度和视觉质量方面均优于先进的基于视频的模型。具体的数据指标和对比基线在摘要中未给出，属于未知信息。但总体而言，该框架能够生成更符合物理规律、更逼真的模拟结果，具有显著的优势。
🎯 应用场景
该研究成果可应用于多种领域，例如驾驶模拟、机器人仿真、游戏开发和教育培训。在驾驶模拟中，可以生成更逼真、更安全的驾驶环境。在机器人仿真中，可以用于训练机器人在复杂环境中的操作技能。在游戏开发中，可以创建更具物理真实感的游戏世界。在教育培训中，可以用于模拟各种物理现象，帮助学生更好地理解物理概念。
📄 摘要（原文）
World models have emerged as a powerful paradigm for building interactive simulation environments, with recent video-based approaches demonstrating impressive progress in generating visually plausible dynamics. However, because these models typically infer dynamics from video and represent them in latent states, they do not explicitly enforce physical constraints. As a result, the generated video rollouts are not physically plausible, exhibiting unstable contacts, distorted shapes, or inconsistent motion. In this paper, we present an agentic framework constructing physics-based world models through executable simulation code. The framework coordinates planning, code generation, visual review, and physics analysis agents. The planning agent converts the natural language prompt into a structured scene plan, the code agent implements it as executable simulation code, and the visual review agent provide visual feedback while the physics analysis agent checks physical consistency. The code is iteratively revised based on the feedback until the simulation matches the prompt reqirements and physical constraints. Experimental results show that our framework outperforms advanced video-based models in physical accuracy, instruction fidelity and visual quality, which could be applied to various scenarios including driving simulation and embodied robot tasks.