EmbodiedRSI: Active Continual Robot Learning Through Hypothesis-Guided Co-Evolution
作者: Python Song, Zhixuan Liang, Kelsey Fu, Mengdi Wang, Junfeng Yang, Shilong Liu
分类: cs.AI
发布日期: 2026-10-07
💡 一句话要点
提出EmbodiedRSI以解决机器人持续学习中的探索效率问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人学习 自我进化 双系统架构 假设图 信息价值选择 代码技能共同进化 层次记忆 真实世界应用
📋 核心要点
- 现有机器人学习方法在物体位置或任务指令变化时，性能显著下降，且后训练数据收集成本高。
- EmbodiedRSI通过自我进化的代理工具，利用快速-慢速双系统架构和假设图，优化探索和学习过程。
- 在RoboCasa365和LIBERO-Pro等基准测试中，EmbodiedRSI显著提高了成功率，且在真实环境中表现良好。
📝 摘要（中文）
机器人基础模型在视觉运动控制方面表现出色，但在物体位置或任务指令变化时，性能可能下降。现有方法通常需要在大量机器人数据上进行后训练，这种数据收集方式成本高昂。为此，本文提出了EmbodiedRSI，一个自我进化的代理工具，能够自主决定下一步探索方向，并将物理交互的结果转化为改进的代码和技能。EmbodiedRSI通过快速-慢速双系统架构实现这一目标，维护竞争的代码和技能假设，并通过信息价值实验选择物理实验，指导代码-技能共同进化。实验结果表明，EmbodiedRSI在RoboCasa365上实现了77.0%的整体成功率，在LIBERO-Pro上达到了86.8%的成功率，且在真实世界机器人上零-shot迁移成功率为71.3%。
🔬 方法详解
问题定义：本文旨在解决机器人在面对物体位置或任务指令变化时，性能下降的问题。现有方法依赖大量后训练数据，收集成本高且效率低下。
核心思路：EmbodiedRSI通过自我进化的代理工具，能够自主选择探索方向，并将物理交互的结果转化为改进的代码和技能，从而提高学习效率。
技术框架：EmbodiedRSI采用快速-慢速双系统架构，包含假设图、信息价值实验选择和代码-技能共同进化等主要模块。慢速系统构建层次记忆，快速系统则利用有效记忆进行改进。
关键创新：最重要的创新在于通过假设图维护竞争的代码和技能假设，并利用信息价值选择实验，这种方法显著提高了探索效率，与现有方法相比具有本质区别。
关键设计：关键设计包括层次记忆的构建和奖励引导的记忆学习，选择有效的记忆以支持快速系统的改进，确保了系统的高效性和灵活性。
🖼️ 关键图片
📊 实验亮点
EmbodiedRSI在RoboCasa365上实现了77.0%的整体成功率，Composite-Unseen任务上达到了71.3%，而最佳基线仅为40.1%。在LIBERO-Pro上，整体成功率高达86.8%。此外，该方法在真实世界机器人上零-shot迁移成功率为71.3%，显示出良好的实际应用能力。
🎯 应用场景
EmbodiedRSI的研究成果在机器人自主学习、智能制造和人机协作等领域具有广泛的应用潜力。通过提高机器人在动态环境中的适应能力，该技术可以显著降低人工干预需求，提升生产效率和安全性，未来可能推动智能机器人在更多复杂任务中的应用。
📄 摘要（原文）
Robot foundation models provide strong visuomotor control, yet their performance can degrade when object positions or task instructions change. Further improvements often require post-training on substantial robot data, which can be costly to collect through methods such as teleoperation. Agentic harnesses can adapt around the model, but current self-evolving harnesses use robot trials inefficiently when deciding which code and skill changes to pursue. We introduce EmbodiedRSI, a self-evolving agentic harness that autonomously decides where to explore next and turns the resulting physical interaction into improved code and skills. EmbodiedRSI realizes this through a Fast-Slow Dual-System Architecture, in which competing code and skill hypotheses are maintained in a Hypothesis Graph. Value-of-Information Experiment Selection chooses physical experiments that can distinguish these hypotheses. Their outcomes guide Code-Skill Co-Evolution. The Slow System builds Hierarchical Memory, and Reward-Grounded Memory Learning selects effective memory according to their value for later Fast-System improvement. On RoboCasa365, EmbodiedRSI reaches 77.0% overall success and 71.3% on Composite-Unseen, compared with 40.1% for the best baseline. EmbodiedRSI also reaches 86.8% overall success on LIBERO-Pro. Beyond benchmark performance, EmbodiedRSI transfers zero-shot to real-world robot, achieving 71.3% overall success across multiple challenging tasks.