Reconstruct, Practice, Go Real: Guided Self-Improvement for Embodied Agents

📄 arXiv: 2610.02204v1 📥 PDF

作者: Yen-Jen Wang, Haozhe Jiang, Shuying Deng, Haoru Xue, Weirui Ye, Rocky Duan, Nika Haghtalab, S. Shankar Sastry, Pieter Abbeel, Haozhi Qi

分类: cs.RO, cs.AI, eess.SY

发布日期: 2026-10-01

备注: 17 pages, 6 figures, 10 tables

💡 一句话要点

提出RPG框架以实现机器人自主技能提升

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自主学习 机器人技能 多模态大语言模型 仿真环境 执行反馈

📋 核心要点

  1. 现有机器人技能的开发与维护需要大量人力，且难以实现自主改进。
  2. RPG框架通过离线数据集识别操作能力，构建仿真实践任务，实现技能的自主提升。
  3. 在22个操作任务的测试中，RPG的成功率从28.6%提升至95.0%，显著优于现有基线方法。

📝 摘要（中文）

构建可靠的机器人能力以应对多样化任务需要大量的人力投入，包括技能开发、奖励设计和感知与控制的整合。本文提出了Reconstruct, Practice, Go Real (RPG)框架，旨在实现机器人执行系统的自主改进，而无需更新模型权重。RPG通过离线数据集识别操作能力，并在仿真中构建相关的实践任务。在实践过程中，RPG利用执行反馈、特权模拟器状态和可用数据集视频来诊断失败，开发新的可重用符号技能，完善现有技能，并根据这些诊断修订系统提示。在测试阶段，多模态大语言模型利用生成的系统提示和技能库来协调感知与机器人控制。在22个操作任务的初始持出测试中，RPG的任务成功率从第一次实践的28.6%提升至15轮后的95.0%，超越了所有评估的基线，包括ASPIRE（75.5%）和基于GPT-6 Astra Pro的CaP-Agent0（60.0%）。

🔬 方法详解

问题定义：本文旨在解决机器人在多样化任务中技能开发与维护的高人力成本问题。现有方法往往依赖于手动调整模型权重，难以实现自主改进。

核心思路：RPG框架通过识别离线数据集中的操作能力，构建相关的仿真实践任务，从而实现机器人技能的自主提升，而无需更新模型权重。

技术框架：RPG的整体架构包括三个主要模块：1) 数据集分析与能力识别，2) 仿真环境中的实践任务构建，3) 反馈诊断与技能改进。每个模块相互协作，形成闭环改进机制。

关键创新：RPG的核心创新在于利用执行反馈和特权模拟器状态进行故障诊断，从而开发新的符号技能和完善现有技能，这一过程与传统的模型更新方法本质上不同。

关键设计：在设计中，RPG采用了多模态大语言模型来协调感知与控制，关键参数设置和损失函数的选择旨在优化技能的重用性和适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，RPG框架在22个操作任务的测试中，任务成功率从28.6%显著提升至95.0%，超越了所有对比基线，包括ASPIRE（75.5%）和CaP-Agent0（60.0%）。经过统一的校准和硬件适配，RPG系统在30次物理试验中均成功，显示出其强大的实用性和可靠性。

🎯 应用场景

RPG框架在机器人操作和自主学习领域具有广泛的应用潜力。它可以用于工业自动化、服务机器人以及教育机器人等场景，帮助机器人在复杂环境中自主学习和适应，提高工作效率和任务成功率。未来，RPG的理念也可能扩展到其他领域，如智能制造和人机协作。

📄 摘要（原文）

Building reliable robot capabilities across diverse tasks requires substantial human effort to develop and maintain skills, design rewards, and integrate perception with control. We present Reconstruct, Practice, Go Real (RPG), a framework for autonomous improvement of robot execution systems without updating model weights. RPG identifies manipulation capabilities in an offline dataset and constructs related practice tasks in simulation. During practice, RPG uses execution feedback, privileged simulator state, and available dataset videos to diagnose failures. It develops new reusable symbolic skills, refines existing skills, and revises the system prompt based on these diagnoses. Cross-task evaluation tests individual candidate changes and merged revisions before they are retained for reuse. At test time, a multimodal LLM uses the resulting system prompt and skill library to coordinate perception and robot control. On held-out initializations of 22 manipulation tasks, RPG improves task success from 28.6% after the first practice round to 95.0% after 15 rounds, outperforming all evaluated baselines, including ASPIRE (75.5%) and CaP-Agent0 powered by GPT-6 Astra Pro (60.0%). After a common calibration and hardware-adaptation procedure, the frozen system succeeds in all 30 physical trials, with ten trials on each of three tasks. Project Website: https://rpg-robot.github.io/