World Action Agent: Harnessing VLMs for Robot Manipulation via World Action Rehearsal

📄 arXiv: 2609.29964v1 📥 PDF

作者: Yehang Zhang, Haojian Huang, Yifan Chang, Jianchong Su, Bohan Zhou, Yingjie Xu, Wosong Chen, Tianhao Zhou, Chenxu Wang, Tianyi Zhang, Yangkai Wei, Wenqian Li, Shiyuan Deng, Yinchuan Li, Ying-Cong Chen, Zexi Li

分类: cs.RO, cs.AI

发布日期: 2026-09-24

备注: Working in progress

💡 一句话要点

提出世界行动代理以解决机器人操控中的视觉语言模型应用问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 机器人操控 多代理系统 技能演化 自动化决策

📋 核心要点

  1. 现有的机器人操控系统未能充分利用视觉语言模型的能力，通常只能间接使用或仅提供场景视图，限制了其决策能力。
  2. 本文提出的世界行动代理（WAA）通过多代理架构，使VLMs能够在视觉行动工作空间内直接操控机器人，提升了决策的灵活性和准确性。
  3. 在LIBERO-Pro上，WAA通过仅依赖LIBERO-90演化的技能达到了75.6%的成功率，显著优于其他基线方法，且在robosuite上同样有效。

📝 摘要（中文）

通用视觉语言模型（VLMs）为机器人操控带来了广泛的知识和空间推理能力，但现有系统要么间接使用它们来预测约束或编写程序，要么仅提供场景视图而非可操作的世界。本文提出了世界行动代理（WAA），通过多代理架构使VLMs能够在视觉行动工作空间内直接操控机器人。该工作空间具备三大特性：自动选择的接触视图、可编辑的行动预演以及在视图中进行的修正。WAA通过两种方式获取具身程序知识：从专家视频和人类教学中演化多模态技能，并通过技能代理进行咨询。实验结果表明，WAA在LIBERO-Pro上达到了75.6%的平均成功率，超越了现有的多种基线。

🔬 方法详解

问题定义：本文旨在解决现有机器人操控系统未能有效利用视觉语言模型（VLMs）进行直接操控的问题。现有方法通常只能间接使用VLMs，限制了机器人的决策能力和灵活性。

核心思路：提出世界行动代理（WAA），通过多代理架构使VLMs能够在一个可操作的视觉行动工作空间内直接操控机器人。该设计旨在增强机器人的决策能力，使其能够在复杂环境中进行自主操作。

技术框架：WAA的整体架构包括三个主要模块：接触视图自动选择、行动预演和在视图中的修正。接触视图提供当前交互周围的场景信息，行动预演允许代理在执行前编辑和修正动作，而在视图中的修正则确保了低级执行的准确性。

关键创新：WAA的核心创新在于将VLMs与机器人操控直接结合，使其能够在视觉行动工作空间内进行实时决策。这一方法与现有的间接使用VLMs的方式有本质区别，显著提升了操控的灵活性和效率。

关键设计：在设计中，接触视图的选择基于场景几何自动化，行动预演则允许代理根据规划反馈进行编辑。通过与技能代理的结合，WAA能够从专家视频和人类教学中演化多模态技能，进一步提升操控能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，WAA在LIBERO-Pro上达到了75.6%的平均成功率，超越了现有的端到端视觉语言代理、代码作为策略的代理和相同骨干的视觉工作基线。此外，通过对Qwen3.5-9B进行微调，其在域外的成功率从1.7%提升至43.3%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动化生产线和服务机器人等。通过提升机器人在复杂环境中的操控能力，WAA能够在实际应用中实现更高效的任务执行，具有重要的商业价值和社会影响。未来，随着技术的进一步发展，WAA有望在更多领域中得到应用，如家庭自动化、医疗辅助和无人驾驶等。

📄 摘要（原文）

General-purpose vision-language models (VLMs) bring broad knowledge and spatial reasoning to robot manipulation, yet existing systems either use them indirectly, to predict constraints or write programs, or give them a view of the scene rather than a world in which to act. We present World Action Agent (WAA), a multi-agent harness through which VLMs pilot robots with basic tools, making every decision within a visual action workspace. The workspace has three properties. Contact views, selected automatically from the scene geometry, present the scene around the current interaction. Action rehearsal turns each action into an editable proposal that the agent, alone or through an Imagination Agent, previews and revises against planning feedback before execution. In-view correction closes the loop between observation, rehearsal, and low-level execution, letting the agent remove residual offsets in the view where it observes them. Through the same workspace, WAA acquires embodied procedural knowledge in two ways: it evolves multimodal skills from expert videos and human teaching under evidence-based review and consults them through a Skill Agent, and its interaction traces train smaller VLMs to pilot the same harness. On LIBERO-Pro, WAA with skills evolved only from LIBERO-90 reaches a state-of-the-art 75.6% average success, outperforming end-to-end VLAs, code-as-policy agents, and a visual-harness baseline with the same backbone; the same skills remain effective on robosuite without further learning. Fine-tuning Qwen3.5-9B on harness traces raises its out-of-domain success from 1.7% to 43.3%.