Rethinking World-Action Model for Compositional and In-Context Robotic Manipulation
作者: Shukai Gong, Xuanran Zhai, Yintianrun Zhang, Ruopeng Cui, Ye Huang, Yiyang Fu, Dexuan Lyu, Chaojie Li, Xinyi Song, Peiwen Lin, Chuang Wang, Mingyuan Jia, Yufan Deng, Jiaxin Fang, Bo Liang, Jiaxin Li, Yuxiang Gao, Hao Liu, Daquan Zhou
分类: cs.RO
发布日期: 2026-10-01
备注: 19 pages, 9 figures
💡 一句话要点
提出ViGAR以解决长时间复合机器人操作问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长时间复合操作 视觉目标规划 机器人学习 层次化框架 子任务推理
📋 核心要点
- 现有的世界-动作模型在处理长时间复合操作时缺乏子任务级的推理能力，限制了机器人在复杂环境中的表现。
- ViGAR通过将操作分解为视觉子目标规划和子目标执行器，提供了一种层次化的解决方案，能够更好地处理复杂任务。
- 在RoboTwin Clean2Random基准测试中，ViGAR的成功率显著提高，验证了其在实际机器人操作中的有效性。
📝 摘要（中文）
长时间复合操作在实际机器人部署中变得越来越重要，单一任务涉及多个协调的子任务。现有的世界-动作模型（WAMs）通常缺乏明确的子任务级推理。我们提出了视觉目标条件的动作推理（ViGAR），这是一个分层框架，将操作分解为视觉子目标规划和子目标执行器。该框架在RoboTwin Clean2Random基准上取得了82.00%和67.02%的成功率，超越了最强基线12.86个百分点，实验证实了ViGAR的有效性。
🔬 方法详解
问题定义：本论文旨在解决长时间复合操作中的子任务推理不足的问题。现有方法通常无法有效处理多个协调子任务，导致机器人在复杂环境中的表现受限。
核心思路：我们提出的ViGAR框架通过将操作分解为视觉子目标规划和子目标执行器，提供了更清晰的任务分解和执行路径，从而增强了机器人在复杂任务中的适应能力。
技术框架：ViGAR的整体架构包括两个主要模块：视觉子目标规划器和子目标执行器。视觉子目标规划器根据当前观察和全局指令预测下一个子任务的视觉子目标，而子目标执行器则基于预测的子目标生成未来的视觉轨迹和动作。
关键创新：ViGAR的核心创新在于其层次化的任务分解和执行机制，允许机器人在不更新参数的情况下，通过全局目标图像进行上下文学习，从而实现不同的子任务分解和行为。
关键设计：该框架共享一个预训练的世界模型表示，确保任务级规划和动作生成能够利用共同的物理知识。此外，设计中还考虑了损失函数和网络结构，以优化子目标的生成和执行效果。
🖼️ 关键图片
📊 实验亮点
在RoboTwin Clean2Random基准测试中，ViGAR在Clean和Random设置下分别达到了82.00%和67.02%的成功率，超越了最强基线12.86个百分点，显示出其在长时间复合操作中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括智能家居、工业自动化和服务机器人等。通过提高机器人在复杂任务中的操作能力，ViGAR能够显著提升机器人在实际场景中的应用价值，推动智能机器人技术的发展。
📄 摘要（原文）
Long-horizon compositional manipulation has become increasingly important for real-world robot deployment, where a single task involves multiple coordinated subtasks. Existing world-action models (WAMs) jointly predict short-horizon visual futures and actions, but typically lack explicit subtask-level reasoning. We propose Visual Goal-conditioned Action Reasoning (ViGAR), a hierarchical framework that factorizes manipulation into a visual subgoal planner and a subgoal executor. Given the current observation and global instruction, the subgoal planner predicts a visual subgoal for the next subtask. The subgoal executor then jointly generates future visual trajectories and actions conditioned on the predicted subgoal. Both components share a pretrained world-model representation, enabling task-level planning and action generation to benefit from common physical knowledge. Moreover, our framework naturally supports in-context learning: using a global goal image as context can induce different subtask decompositions and behaviors without parameter updates. On the RoboTwin Clean2Random benchmark, ViGAR achieves 82.00% and 67.02% success rates under the Clean and Random settings, respectively, surpassing the strongest baseline by 12.86 percentage points in average success rate. Real-world robot experiments on five compositional and two in-context learning tasks further confirm the effectiveness of ViGAR.