Scaling Online Exploration for Robot Agents
作者: Runhan Huang, Xiangcheng Zhang, Haoyu Chen, Yitong Li, Yen-Jen Wang, Bohan Lyu, Haotian Ye, Chuye Hong, Yixuan Wang, Chloe Su, Haoyu Xiong, Yangzhen Wu, Enze Xie, Travis Manderson, Stefano Ermon, Pieter Abbeel, Antonio Torralba, Dawn Song, Weirui Ye, Yilun Du
分类: cs.RO
发布日期: 2026-10-15
备注: Project website is at https://robot-agent-exploration.com/
💡 一句话要点
提出RAX框架以解决机器人在线探索能力不足的问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 机器人学习 在线探索 自主学习 模块化程序 多体现研究
📋 核心要点
- 现有机器人学习方法在新任务或新机器人部署时，通常需要专门的遥控数据，限制了策略的泛化能力。
- RAX框架通过在线探索和生成控制代码，消除了对示范数据的依赖，使机器人能够自主学习和改进。
- 实验表明，RAX在模拟环境中比基线模型平均提高了37.4%，在真实机器人上也能自主学习复杂任务。
📝 摘要（中文）
机器人学习通过扩展示范数据集和模型容量取得了进展，但在部署新机器人或任务时，通常需要专门的遥控操作数据集。这导致策略受限于模仿分布，限制了泛化能力和持续自我改进。我们提出了RAX（机器人代理探索），这是一个开源框架，旨在通过在线经验获取和可执行程序合成来扩展探索能力。RAX中的通用编码代理生成机器人控制代码，无需动作示范数据、手工设计的动作原语或价值函数指导。通过在线探索，代理识别实现任务目标的决策序列，并将其编译成模块化程序，涵盖完整的感知-规划-控制循环。使用RAX，我们在多种机器人系统上进行了系统的多体现研究，探索精确和长时间操作任务的扩展。随着探索的扩展，泛化性能在未见环境中持续改善。在模拟中，RAX的表现比顶级基线模型平均提高了37.4%。在真实机器人上，RAX自主学习高精度、长时间移动操作任务，无需人类示范，持续通过组合先前探索会话中的验证技能来提高性能。
🔬 方法详解
问题定义：本论文旨在解决现有机器人学习方法在新任务和新机器人部署时需要专门遥控数据的问题。这种依赖限制了策略的泛化能力和持续改进的可能性。
核心思路：RAX框架的核心思路是通过在线探索使机器人能够自主生成控制代码，消除对示范数据和手工设计动作原语的依赖，从而实现自主学习和改进。
技术框架：RAX的整体架构包括一个通用编码代理，该代理通过在线探索识别决策序列，并将其编译成模块化程序，涵盖感知、规划和控制的完整循环。主要模块包括感知模块、决策模块和执行模块。
关键创新：RAX的最重要创新在于其能够在没有人类示范的情况下，通过在线探索自主学习复杂任务，并且随着探索的扩展，机器人展现出主动感知、错误恢复和人机协作等新能力。
关键设计：RAX的设计中，关键参数包括探索策略的选择、模块化程序的编译方式以及决策序列的优化方法。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
在实验中，RAX在模拟环境中比顶级基线模型平均提高了37.4%的性能。在真实机器人上，RAX能够自主学习高精度和长时间的移动操作任务，且无需人类示范，展现出持续改进的能力。
🎯 应用场景
RAX框架具有广泛的应用潜力，适用于各种机器人系统的自主学习和任务执行。它可以在工业自动化、服务机器人、医疗辅助等领域实现高效的在线学习和适应，推动机器人技术的进一步发展和普及。
📄 摘要（原文）
Robot learning has advanced by scaling demonstration datasets and model capacity; however, deploying a new robot embodiment or task typically necessitates a dedicated teleoperation corpus. The resulting policies remain bounded by their imitation distributions, limiting generalization and continual self-improvement. We introduce RAX (Robot Agent eXploration), an open-source framework for robot agents centered on scaling exploration: enabling agents to improve by acquiring online experience and synthesizing executable programs. In RAX, a general-purpose coding agent generates robot control code, operating without action demonstration data, hand-engineered action primitives, or value-function guidance. Through online exploration, the agent identifies decision sequences that achieve task goals and compiles them into modular programs encapsulating the full perception-planning-control loop. Using RAX, we present a systematic multi-embodiment study on scaling online exploration across precision and long-horizon manipulation tasks using single-arm, bimanual, dexterous, mobile, and humanoid systems in simulation and on real robots. Generalization performance on unseen environments improves consistently as exploration scales. In simulation, RAX outperforms top baseline models by +37.4% on average. On real robots, RAX autonomously learns memory-dependent, articulated, high-precision, deformable, and long-horizon mobile manipulation tasks without human demonstrations, continually improving performance by composing verified skills from prior exploration sessions. As exploration scales, we observe emergent capabilities including active perception, error recovery, safety guardrails, and human-robot collaboration. We open-source RAX as a generalist robot-agent platform in which new robot embodiments are integrated through their APIs alone, without teleoperated data collection or policy training.