Magic-W0: A Structured World-Action Foundation Model for Physical Intelligence
作者: Xuhua Chen, Zhenhan Yin, Yuan Zhang, Lingfeng Zhang, He Zheng, Tong Mu, Shun Zuo, Dian Zhou, Di Wu, Xuan Zhou, Shaojie Wan, Rongtian Shen, Qiulong Xu, Yiduo Li, Yinglong Wang, Yanqian Wang, Kun Wang, Tao Zhang
分类: cs.RO
发布日期: 2026-09-30
备注: 29 pages, 15 figures, 7 tables. Project page: https://embodied.magiclab.top/works/wam/magic-w0/index.html; Code: GitHub - MagiclabRobotics/Magic-W0
💡 一句话要点
提出Magic-W0以解决物理智能中的结构化世界-动作建模问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 世界-动作模型 物理智能 结构化建模 机器人操作 深度学习 3D运动捕捉 视觉-语言融合
📋 核心要点
- 现有的世界-动作模型在动作生成与环境动态建模上存在不足，缺乏结构化的世界表示。
- Magic-W0通过结构化世界转移模型，结合当前状态、转移和未来状态，提供了一种新的世界-动作建模方式。
- 在RoboDojo-Sim上，Magic-W0的表现优于其他WAMs，显示出其在真实机器人任务中的强大适应能力。
📝 摘要（中文）
世界-动作模型（WAMs）通过动作条件的环境动态增强机器人策略，但现有方法大多依赖于未来观察重建或通用潜在预测，缺乏与动作生成紧密耦合的结构化控制导向的世界表示。我们提出Magic-W0，这是一种世界-动作基础模型，联合建模结构化的物理状态演变和连续动作。Magic-W0将交互表示为结构化世界转移，由当前状态、转移和未来状态组成。当前状态结合视觉-语言上下文与当前3D几何；转移通过3D运动捕捉动作引起的三维变化表示；未来状态通过未来语义描述任务相关的结果。通过层对齐的世界-动作交互架构，我们将演变的动作假设与世界转移预测耦合，同时预测的世界表示持续为动作生成提供信息。Magic-W0在大规模自我中心人类操作、UMI、真实机器人和仿真数据上进行预训练，支持几何、3D运动和未来语义的潜在监督。推理时的干预显示结构化世界表示对候选动作的变化作出系统响应，且与动作相关的信息通过共享的3D表示传播到未来语义预测。在RoboDojo-Sim上，Magic-W0的平均得分为27.10，领先于比较的WAMs，并在多个真实机器人任务中经过有限下游数据微调后表现出强大的下游性能，支持泛化和快速适应。
🔬 方法详解
问题定义：本论文旨在解决现有世界-动作模型在动作生成和环境动态建模中的不足，特别是缺乏结构化的控制导向世界表示。
核心思路：提出Magic-W0模型，通过结构化世界转移的方式，将当前状态、转移和未来状态结合，增强对物理智能的建模能力。
技术框架：Magic-W0的整体架构包括三个主要模块：当前状态模块（结合视觉-语言上下文与3D几何）、转移模块（捕捉动作引起的3D变化）和未来状态模块（描述任务相关的结果）。此外，采用层对齐的世界-动作交互架构，确保动作假设与世界转移预测的耦合。
关键创新：最重要的创新在于结构化世界转移的表示方式，使得动作生成与环境动态建模之间的关系更加紧密，克服了传统方法的局限。
关键设计：在模型设计中，采用潜在监督机制来指导几何、3D运动和未来语义的学习，确保模型在大规模数据上进行有效预训练。
🖼️ 关键图片
📊 实验亮点
Magic-W0在RoboDojo-Sim上取得了27.10的平均得分，领先于其他对比的世界-动作模型。此外，在多个真实机器人任务中，经过有限数据微调后，Magic-W0展现出强大的下游性能，支持快速适应和泛化能力。
🎯 应用场景
Magic-W0的研究成果在机器人操作、自动化控制和智能系统等领域具有广泛的应用潜力。通过提供更为精准的世界-动作建模，能够提升机器人在复杂环境中的决策能力和适应性，推动物理智能的发展。
📄 摘要（原文）
World-action models (WAMs) augment robot policies with action-conditioned environment dynamics, yet existing approaches largely rely on future observation reconstruction or generic latent prediction and lack structured, control-oriented world representations tightly coupled with action generation. We introduce Magic-W0, a world-action foundation model that jointly models structured physical state evolution and continuous actions. Magic-W0 represents interaction as a Structured World Transition consisting of Current State, Transition, and Future State. Current State combines vision-language context with Current 3D Geometry; Transition is represented by 3D Motion capturing action-induced three-dimensional changes; and Future State is represented by Future Semantics describing task-relevant outcomes. To couple prediction and control, we propose a layer-aligned world-action interaction architecture in which evolving action hypotheses condition world-transition prediction, while predicted world representations continuously inform action generation. Magic-W0 is pre-trained on large-scale egocentric human manipulation, UMI, real-robot, and simulation data, with latent supervision for geometry, 3D motion, and future semantics from pre-trained visual models. Inference-time interventions show that structured world representations respond systematically to changes in candidate actions and that action-related information propagates through shared 3D representations into future semantic predictions. On RoboDojo-Sim, Magic-W0 achieves an average Score of 27.10, the highest among the compared WAMs. Across multiple real-robot tasks, it also demonstrates strong downstream performance after fine-tuning with limited downstream data, supporting generalization and rapid adaptation.