Exploratory, Communicative, and Deployable: Vision-Driven Embodied Agents for Open-World Mobile Manipulation

📄 arXiv: 2607.13653v1 📥 PDF

作者: Boyu Mi, Mengchen Ma, Yifei Yao, Xing Gao, Junting Chen, Yangzi Li, Zihou Zhu, Guohao Li, Zhenfei Yin, Tai Wang, Yao Mu, Jiangmiao Pang, Hanqing Wang

分类: cs.CV, cs.RO

发布日期: 2026-07-15

备注: Accepted to ECCV 2026. 57 pages. Code available at https://github.com/InternRobotics/REAL

🔗 代码/项目: GITHUB

💡 一句话要点

提出REAL框架以解决开放世界移动操控中的探索与交互问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放世界 移动操控 具身智能体 人机交互 强化学习 视觉定位 探索策略

📋 核心要点

  1. 现有方法通常依赖于特权模拟器状态，无法有效应对现实世界中的动态变化和不确定性。
  2. 论文提出REAL框架，通过无神谕感知的环境API和模拟用户实现人机交互，优化智能体的探索和操控能力。
  3. 实验表明，训练后的智能体在真实场景中表现出78.3%的成功率，显示出良好的零-shot迁移能力。

📝 摘要（中文）

现实世界中，具身智能体的部署需要主动探索、视觉定位和交互意图消歧。然而，现有框架往往依赖特权模拟器状态或假设完整指令，忽视了现实部署中的挑战。为此，我们提出了REAL，一个用于开放世界移动操控的智能框架。REAL建立了无神谕感知的模拟-现实一致环境API，并集成了模拟用户以实现人机交互。在此环境中，我们设计了多样的任务组合以推动数据收集、监督微调和在线强化学习，从而系统性优化智能体性能。我们还引入了REAL-Bench，一个涵盖241个任务的基准，涉及主动探索、视觉干扰、关节操控和交互消歧。实验结果表明，我们训练的智能体在交互任务中以56.9%的成功率超越了领先的商业闭源视觉语言模型。最终，我们在物理双臂移动机器人上部署并评估了该框架，取得了78.3%的端到端成功率，验证了我们的设计成功弥合了长时间移动操控的现实差距。

🔬 方法详解

问题定义：本论文旨在解决开放世界移动操控中智能体在现实部署时面临的探索、视觉定位和交互意图消歧等问题。现有方法往往依赖于理想化的模拟环境，无法应对真实世界的复杂性和不确定性。

核心思路：我们提出的REAL框架通过建立无神谕感知的模拟-现实一致环境API，结合模拟用户实现人机交互，从而增强智能体的自主探索和任务执行能力。这样的设计使得智能体能够在没有完整指令的情况下，依然能够有效地进行任务操作。

技术框架：REAL框架包括多个主要模块：首先是环境API的构建，确保模拟与现实环境的一致性；其次是任务组合的设计，推动数据收集和模型训练；最后是在线强化学习的实施，以持续优化智能体的表现。

关键创新：本研究的最大创新在于引入了无神谕感知的环境API和模拟用户交互机制，使得智能体能够在开放世界中进行有效的探索和操控。这一方法与传统依赖于完整指令的框架有本质区别。

关键设计：在模型训练过程中，我们采用了分层训练管道，确保工具使用能力与开放词汇推理的对齐。此外，设计了多样的任务组合和损失函数，以促进智能体在复杂场景中的适应性和灵活性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，训练后的智能体在交互任务中以56.9%的成功率超越了领先的商业闭源视觉语言模型。此外，在真实场景中，智能体实现了78.3%的端到端成功率，展现出良好的零-shot迁移能力，验证了框架的有效性。

🎯 应用场景

该研究的潜在应用领域包括家庭服务机器人、工业自动化和智能物流等。通过提升智能体在开放世界中的自主操作能力，REAL框架能够在多种实际场景中实现高效的任务执行，具有广泛的商业价值和社会影响。未来，该技术可能推动智能体在更复杂环境中的应用，提升人机协作的效率与安全性。

📄 摘要（原文）

Real-world deployment of embodied agents requires active exploration, visual grounding, and interactive intent disambiguation. However, existing frameworks often rely on privileged simulator states or assume complete instructions, bypassing realistic deployment challenges. To bridge this gap, we present REAL, an agentic framework for open-world mobile manipulation. REAL establishes sim-to-real-consistent environment APIs without oracle perception and integrates a simulated user to enable human-in-the-loop interaction. Within this environment, we design diverse task compositions to drive data collection, supervised fine-tuning, and online reinforcement learning, systematically optimizing agent performance. To comprehensively evaluate this approach, we introduce REAL-Bench, a benchmark spanning 241 tasks across active exploration, visual distraction, articulated manipulation, and interactive disambiguation. Experimental results demonstrate that our trained agent outperforms leading commercial closed-source VLMs on interactive tasks with a 56.9% success rate. Further empirical analysis reveals that our hierarchical training pipeline successfully aligns the model's tool-use capabilities while maintaining robust open-vocabulary reasoning under extended exploration horizons. Finally, we deploy and evaluate our framework on a physical dual-arm mobile robot, where it achieves a 78.3% end-to-end success rate over 60 real-world episodes. These physical trials demonstrate robust zero-shot transferability to unseen household scenarios, validating that our sim-to-real-consistent design successfully bridges the reality gap for long-horizon mobile manipulation. Code is available at https://github.com/InternRobotics/REAL.