Agentic World Action Models
作者: Zhuoyang Liu, Dantong Niu, Botong Zhang, Boning Shao, Jing Wang, Ruijie Zheng, Yuvan Sharma, Runyu Lu, Jiaming Liu, Renrui Zhang, Roei Herzig, Yutong Bai, Ken Goldberg, Danfei Xu, Yuke Zhu, Guanzhi Wang, Linxi "Jim" Fan, Trevor Darrell
分类: cs.RO
发布日期: 2026-10-21
备注: Project page: https://agentic-wam.github.io/
💡 一句话要点
提出Agentic世界动作模型以解决技能重用不足问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 世界动作模型 技能重用 机器人操作 多模态学习 生成模型
📋 核心要点
- 现有的世界动作模型在技能重用方面存在不足，缺乏有效的组合机制。
- 本文提出AW-0框架，通过将代码、视频和动作预测结合，增强了机器人操作的预测能力和技能重用。
- 在RoboTwin 2.0和双手操作任务中，AW-0在任务表现、语言跟随和语义推理等方面均优于现有基线。
📝 摘要（中文）
近年来的世界动作模型为机器人操作提供了视觉前瞻和未来预测，但缺乏明确的组合技能重用机制。Agentic机器人结合了基于代码的规划和推理与可重用技能，但通常缺乏在物理动态中的预测基础。本文介绍了AW-0，一个集成了代码规划与联合视频和动作预测的Agentic世界动作模型框架。该框架将代码、未来视频和机器人动作建模为三个耦合的生成流，采用统一的混合变换器架构。评估结果显示，该方法在RoboTwin 2.0和物理双手操作任务上相较于VLA和WAM基线有显著提升，展示了Agentic代码在规划、预测和执行之间的连接能力。
🔬 方法详解
问题定义：本文旨在解决现有世界动作模型在技能重用和物理动态预测方面的不足，现有方法往往无法有效地将技能组合和重用。
核心思路：提出AW-0框架，通过将代码、未来视频和机器人动作建模为耦合的生成流，增强了对多步骤预测和控制的支持，同时实现技能的重用。
技术框架：整体架构采用混合变换器，包含三个主要模块：代码专家生成参数化技能例程和控制逻辑，视频专家生成未来视觉状态，动作专家生成低级运动指令。
关键创新：最重要的创新在于将代码与视频和动作预测结合，形成统一的生成流，显著提升了技能的重用性和执行的灵活性。
关键设计：在设计中，代码结构化多步骤预测，损失函数优化了生成流的协同工作，网络结构采用变换器架构以处理多模态输入。
🖼️ 关键图片
📊 实验亮点
实验结果显示，AW-0在RoboTwin 2.0和物理双手操作任务中，相较于VLA和WAM基线，任务表现提升显著，语言跟随和语义推理能力也有明显增强，展示了Agentic代码的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等。通过提升机器人在复杂任务中的自主性和适应性，未来可能在智能家居、服务机器人等领域产生深远影响。
📄 摘要（原文）
Recent world action models provide visual foresight and future prediction for robot manipulation, but lack explicit mechanisms for compositional skill reuse. Agentic robotics combines code-based planning and reasoning with reusable skills, but often lacks predictive grounding in physical dynamics. We introduce AW-0, an agentic world action model framework that integrates code-based planning with joint video and action prediction. We jointly model code, future video, and robot actions as three coupled generative streams within a unified mixture-of-transformers architecture. Within this architecture a code expert generates parameterized skill routines and control logic while video and action experts generate future visual states and low-level motor commands. Code serves two complementary roles: it structures multi-step prediction and control within the world model and represents skills as reusable programs for subsequent agentic execution. We further introduce an automated curation pipeline that labels robot and human video trajectories with aligned programs and consolidates recurring routines into reusable skill libraries. Evaluations on RoboTwin 2.0 and physical bimanual manipulation tasks show improved task performance over VLA and WAM baselines, alongside gains in language following, semantic reasoning and robustness, demonstrating that agentic code enables connection between planning, prediction and execution within WAMs.