WorldMirror: Agentic Real-to-Sim Generation of Interactive Worlds from In-the-Wild Robot Demonstrations
作者: Tianling Xu, Weijie Wan, Honghao Su, Kailun Su, Junyuan Tang, Huichi Zhou, Haozheng Zhang, Qi Xiong, Ping Luo, Wenbo Ding, Tianxing Chen, Yue Chen
分类: cs.RO, cs.CV
发布日期: 2026-10-22
💡 一句话要点
提出WorldMirror框架以解决机器人学习中的场景构建问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 机器人学习 仿真 数字双胞胎 视觉重建 物理一致性 交互式场景 编码代理
📋 核心要点
- 现有的机器人学习方法在仿真中需要大量手动构建场景，限制了训练的可扩展性和数据多样性。
- WorldMirror框架通过迭代优化可执行的世界程序，将真实场景转化为交互式数字双胞胎，提升了重建的效率和准确性。
- 在DROID实验中，WorldMirror成功重建了视觉真实且几何一致的交互世界，验证了其物理有效性。
📝 摘要（中文）
现有的机器人学习方法在仿真中通常需要大量手动构建场景和指定任务，这限制了训练的可扩展性和数据的多样性。与此同时，真实环境中的机器人演示自然提供了多样化和真实的交互观察。为了利用这些演示进行仿真，需要高保真的视觉重建和物理一致的交互。我们提出WorldMirror，一个基于真实到仿真的框架，通过迭代优化可执行的世界程序，从真实的机器人演示中构建交互式数字双胞胎。实验结果表明，WorldMirror能够重建视觉上真实且几何上一致的交互世界，同时保持记录的机器人轨迹的物理有效性。
🔬 方法详解
问题定义：本论文旨在解决现有机器人学习方法在仿真中需要大量手动构建场景的问题，导致训练可扩展性差和数据多样性不足。
核心思路：我们提出的WorldMirror框架将真实到仿真的构建过程视为可执行世界程序的迭代优化，通过编码代理分解观察到的场景，规划重建步骤，并协调图像和3D生成工具。
技术框架：WorldMirror的整体架构包括三个主要模块：编码代理、场景表示和反馈验证。编码代理负责场景分解和重建步骤规划，场景表示组织静态视觉上下文和可编辑交互资产，反馈验证用于诊断和纠正重建错误。
关键创新：WorldMirror的核心创新在于将真实场景的重建与物理一致的交互结合，通过编码代理的反馈机制实现了高保真度和几何一致性的重建，区别于传统方法的静态场景构建。
关键设计：在设计中，采用了基于相机姿态的场景表示，确保了空间关系的保留，并通过特定的损失函数优化重建质量，确保生成的交互资产能够与机器人轨迹物理一致。
🖼️ 关键图片
📊 实验亮点
在DROID实验中，WorldMirror成功重建了视觉上真实且几何一致的交互世界，验证了其物理有效性。与基线方法相比，WorldMirror在重建质量和交互一致性上均有显著提升，具体性能数据未提供，但实验结果显示出较大的改进幅度。
🎯 应用场景
该研究的潜在应用领域包括机器人自主导航、虚拟现实和增强现实等场景。通过高效构建交互式数字双胞胎，WorldMirror能够为机器人学习提供更加丰富和真实的训练环境，提升其在复杂任务中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Existing approaches for robot learning in simulation often require substantial manual effort to construct scenes and specify tasks, limiting training scalability and data diversity. Meanwhile, in-the-wild robot demonstrations naturally provide diverse and realistic observations of real-world interactions. Leveraging these demonstrations for simulation requires both high-fidelity visual reconstruction and physically consistent interactions. General-purpose agents offer flexible adaptation to diverse scenarios and strong reasoning about 3D spatial relationships, while specialized generative models provide high-fidelity reconstruction of scene appearance and geometry. We introduce WorldMirror, an agentic real-to-sim framework that constructs interactive digital twins from in-the-wild robot demonstrations. Our central idea is to formulate real-to-sim construction as the iterative refinement of an executable world program. A coding agent decomposes the observed scene, plans reconstruction steps, and orchestrates specialized image and 3D generation tools, refining the program through verification feedback. A camera-pose-anchored scene representation organizes the world into static visual context, support geometry, and editable interactive assets while preserving spatial relationships among the scene, objects, and robot. The agent uses this representation to diagnose and correct reconstruction errors, enabling physically consistent interaction and trajectory replay. Experiments on DROID demonstrate that WorldMirror can reconstruct visually faithful and geometrically consistent interactive worlds while preserving the physical validity of recorded robot trajectories.