UniWAM: Unified World-Action Model
作者: Jiayi Chen, Wenxuan Song, Jingbo Wang, Shuai Zhou, Xicheng Gong, Zehua Fan, Ziyang Zhou, Junwu E, Haodong Yan, Fuhao Li, Qize Yu, Xu Huang, Pengwei Wang, Wen Chen, Shunbo Zhou, Haoang Li
分类: cs.RO
发布日期: 2026-10-01
💡 一句话要点
提出UniWAM以解决视觉-语言-动作模型的动态理解问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 物理推理 世界生成 动作预测 多模态学习
📋 核心要点
- 现有的视觉-语言-动作模型在动态理解方面存在不足，尤其是在仅依赖动作监督时。
- UniWAM通过整合物理推理、世界生成和动作预测模块，提供了一种统一的学习框架，增强了语义理解能力。
- UniWAM在多个评估任务中达到了最先进的性能，展示了其在鲁棒性和泛化能力上的显著提升。
📝 摘要（中文）
视觉-语言-动作模型受益于预训练视觉-语言模型的理解和推理能力，但仅依赖动作监督在世界动态理解上存在局限。相反，世界-动作模型虽然继承了视频生成模型的时空先验，但在语义理解和推理方面仍然有限。我们提出了UniWAM，一个统一架构，集成了物理推理器、世界生成器和动作预测器，旨在共同学习物理世界的语义理解、视觉生成和动作预测。为确保训练数据的质量，我们开发了严格的数据清洗和标注流程，适用于人类自我中心数据和机器人数据。UniWAM在多个评估中实现了最先进的性能，包括分布内性能、鲁棒性、泛化能力、指令跟随和长时间任务执行。
🔬 方法详解
问题定义：本论文旨在解决现有视觉-语言-动作模型在世界动态理解上的不足，尤其是仅依赖动作监督时的局限性。现有方法在语义理解和推理能力上存在明显短板。
核心思路：UniWAM的核心思路是通过整合物理推理器、世界生成器和动作预测器，形成一个统一的架构，从而共同学习物理世界的语义理解、视觉生成和动作预测。这样的设计能够有效提升模型的综合能力。
技术框架：UniWAM的整体架构包含三个主要模块：物理推理器负责理解物理世界的动态，世界生成器用于生成视觉内容，动作预测器则负责预测未来动作。这些模块通过一个统一的训练流程进行协同学习。
关键创新：UniWAM的最重要创新在于其统一的架构设计，结合了物理推理和视觉生成的能力，克服了传统模型在语义理解上的局限。与现有方法相比，UniWAM在处理复杂任务时展现出更强的适应性和鲁棒性。
关键设计：在训练过程中，UniWAM采用了严格的数据清洗和标注流程，并通过自然语言表示低级动作。此外，模型在预训练阶段引入了来自视觉问答、人体自我中心数据和机器人演示的补充监督，以增强各个组件的学习效果。
🖼️ 关键图片
📊 实验亮点
UniWAM在多个评估任务中实现了最先进的性能，包括分布内性能、鲁棒性和泛化能力等方面，展示了其在指令跟随和长时间任务执行中的显著提升，具体性能数据尚未披露。
🎯 应用场景
UniWAM的研究成果在多个领域具有潜在应用价值，包括机器人导航、智能助手和人机协作等场景。通过提升模型的语义理解和动态预测能力，UniWAM能够更好地支持复杂任务的执行，推动智能系统的实际应用和发展。
📄 摘要（原文）
Vision-language-action models benefit from the understanding and reasoning capabilities of pretrained vision-language models, but action-only supervision provides limited grounding in world dynamics. Conversely, world-action models inherit spatiotemporal priors from video generation models, yet remain limited in semantic understanding and reasoning under distribution shifts. We introduce UniWAM, a unified architecture that integrates a physical reasoner, a world generator, and an action predictor to jointly learn semantic understanding of the physical world, visual generation, and action prediction. To ensure the quality of the training data, we developed a rigorous data cleaning and annotation pipeline for both human egocentric data and robot data. To adapt the vision-language component to embodied tasks while preserving its inherited language capabilities, we represent low-level actions in natural language and introduce a pre-training recipe that assigns complementary supervision from visual question answering (VQA) data, human egocentric data, and robot demonstrations to the appropriate model components. During post-training, future visual noise augmentation reduces reliance on precise future predictions, while history-conditioned flow matching uses encoded action history to initialize action generation. Together, these designs significantly reduce denoising steps while maintaining performance. UniWAM achieves state-of-the-art (SOTA) performance across multiple evaluations, including in-distribution performance, robustness, generalization, instruction following, and long-horizon task execution. Furthermore, we uncover a log-linear scaling law of unified human-robot co-training, demonstrating the effectiveness of large-scale pre-training on a mixture of human and robot data.