NeoWorld-3: From Pixels to Code-Defined Physical Worlds
作者: Eachen Soong, Zijian Niu, Haoran Xu, Yihong Dong, Yunbo Wang, Xiaokang Yang
分类: cs.CV
发布日期: 2026-10-20
💡 一句话要点
提出NeoWorld-3以解决3D世界重建中的物理交互问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 3D重建 物理交互 编码代理 可执行程序 机器人操作 虚拟现实 几何保真度
📋 核心要点
- 现有的3D生成方法往往无法提供必要的物理交互性，限制了其在真实世界应用中的有效性。
- NeoWorld-3通过编码代理框架，利用可调的可执行程序从视觉输入中重建交互式3D世界，提升了物理交互能力。
- 实验结果表明，NeoWorld-3在几何保真度和物理准备性上优于现有方法，并成功实现了零次执行的操作轨迹。
📝 摘要（中文）
模拟准备的世界重建不仅需要视觉真实感，还需要物理交互性，而现有的黑箱3D生成方法无法满足这一需求。本文提出了NeoWorld-3，一个编码代理框架，通过可调的可执行程序从视觉观察中重建交互式3D世界。其核心NeoSDK提供了低级几何体、部件组合、可微参数优化和物理验证的计算引擎。同时，NeoMCP将这些能力以结构化的工具调用API形式暴露给视觉语言代理，支持视觉检查、代码编辑和程序迭代优化。通过层次协调者-工作者架构，该框架能够从独立的关节对象无缝扩展到复杂的组合场景。在对象级和场景级重建基准测试中的评估表明，NeoWorld-3在几何保真度和物理准备性方面达到了最先进的水平。重要的是，在我们重建的双胞胎中规划的操作轨迹能够在物理双臂机器人上成功实现零次执行，完成真实-模拟-真实的循环。
🔬 方法详解
问题定义：本文旨在解决现有3D生成方法在物理交互性方面的不足，尤其是在视觉真实感与物理可操作性之间的平衡问题。现有方法通常为黑箱模型，缺乏可解释性和可调性。
核心思路：NeoWorld-3的核心思路是通过编码代理框架，将视觉观察转化为可调的可执行程序，从而实现交互式3D世界的重建。这种设计使得系统不仅能够生成视觉上真实的场景，还能确保其物理交互性。
技术框架：NeoWorld-3的整体架构包括NeoSDK和NeoMCP两个主要模块。NeoSDK提供低级几何体、部件组合、可微参数优化和物理验证的计算引擎，而NeoMCP则将这些功能以API形式暴露，支持视觉语言代理进行代码的检查、编辑和优化。
关键创新：NeoWorld-3的关键创新在于其编码代理框架和层次协调者-工作者架构，允许从简单的关节对象扩展到复杂的场景重建。这种方法与传统的黑箱生成方法本质上不同，提供了更高的可调性和可解释性。
关键设计：在技术细节上，NeoWorld-3采用了可微分的参数优化方法，确保在重建过程中能够进行有效的物理验证。同时，API设计使得视觉语言代理能够灵活地与系统交互，进行实时的代码编辑和优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，NeoWorld-3在对象级和场景级重建基准测试中达到了最先进的几何保真度，且在物理准备性方面表现优异。特别是，重建的操作轨迹在物理双臂机器人上实现了成功的零次执行，展示了其在真实-模拟-真实循环中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、虚拟现实和游戏开发等。通过提供可交互的3D世界重建能力，NeoWorld-3能够在多种场景中实现更高效的物理模拟和人机交互，具有重要的实际价值和未来影响。
📄 摘要（原文）
Simulation-ready world reconstruction demands physical interactivity beyond visual realism, which existing black-box 3D generation fails to deliver. We present NeoWorld-3, a coding-agent framework that reconstructs interactive 3D worlds from visual observations via tunable, executable programs. At its core, NeoSDK provides the underlying computational engine for low-level geometries, part composition, differentiable parameter refinement, and physics validation. At the same time, NeoMCP exposes these capabilities as structured, tool-callable APIs for vision-language agents to visually inspect, edit code, and iteratively refine programs. Through a hierarchical coordinator-worker architecture, the framework scales seamlessly from standalone articulated objects to complex compositional scenes. Evaluations across object-level and scene-level reconstruction benchmarks demonstrate that NeoWorld-3 achieves state-of-the-art geometric fidelity and physical readiness. Crucially, manipulation trajectories planned within our reconstructed twins achieve successful zero-shot execution on a physical dual-arm robot, completing the Real-Sim-Real loop.