AdaRSI: On-Demand Recursive Self-Improvement for Embodied Agents

📄 arXiv: 2610.20474v1 📥 PDF

作者: Peidong Wang, Ying Chang, Zhiming Ma, Xiaocui Yang, Shi Feng, Daqi Liu, Yuzhe Yang, Xu Cao, Chuang Wang, Jian Su, Daling Wang

分类: cs.CL, cs.RO

发布日期: 2026-10-14

💡 一句话要点

提出AdaRSI框架以解决长时间任务中的自我改进问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自我改进 具身智能 视觉-语言-动作 机器人学习 长时间任务

📋 核心要点

  1. 现有的具身RSI方法在处理未见的长时间任务时存在显著不足，无法有效应对执行器的缺陷。
  2. AdaRSI框架通过按需改进执行器，重试失败的子步骤，并微调不可靠的部分，从而实现自我改进。
  3. 在RoboCasa365的实验中，AdaRSI的成功率显著提升，同时减少了GPU时间和自收集演示的使用量。

📝 摘要（中文）

预训练的视觉-语言-动作模型（VLA）在面对未见的长时间任务时常常会失败。递归自我改进（RSI）提供了一种解决方案，但现有的具身RSI方法要么在固定的执行器上进行改进，无法添加缺失的动作，要么在持续失败的情况下训练执行器，而不考虑失败的原因。本文提出了AdaRSI，一个按需的RSI框架，首先通过重试失败的子步骤来改善技能和执行器，然后仅微调那些仍然不可靠的子步骤。实验结果表明，AdaRSI在RoboCasa365的50个目标任务中，成功率从4.6%提升至13.8%。

🔬 方法详解

问题定义：本文旨在解决预训练视觉-语言-动作模型在未见长时间任务中频繁失败的问题。现有方法无法有效识别和改进执行器的缺陷，导致无法添加必要的动作或在失败中反复训练。

核心思路：AdaRSI框架的核心思想是按需改进执行器，通过重试失败的子步骤来识别问题，并仅微调那些仍然不可靠的子步骤。这种方法避免了不必要的全局微调，提升了效率。

技术框架：AdaRSI的整体架构包括三个主要模块：首先是技能和执行器的改进，其次是通过重试失败的子步骤来归因持续失败，最后是微调不可靠的子步骤。每个模块都利用之前任务的经验和自收集的演示。

关键创新：AdaRSI的创新之处在于其按需微调机制，能够在不改变执行器的情况下，针对特定失败进行局部优化。这与传统的全局微调方法形成鲜明对比，显著提高了效率和成功率。

关键设计：在设计中，AdaRSI使用了保存状态的重试机制，确保能够有效地识别和改进失败的子步骤。此外，微调过程中采用了自收集的演示，减少了对人工数据的依赖。整体上，AdaRSI在GPU时间和自收集演示的使用上都表现出较高的效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboCasa365的50个目标任务中，AdaRSI的成功率从4.6%提升至13.8%。与全局微调相比，AdaRSI在成功率上略有提升，同时仅使用了28%的GPU时间和22%的自收集演示，显示出其高效性。

🎯 应用场景

AdaRSI框架在机器人和自动化领域具有广泛的应用潜力，尤其是在需要长时间自主执行任务的场景中。其自我改进能力可以显著提高机器人在复杂环境中的适应性和效率，未来可能推动智能体在家庭服务、工业自动化等领域的应用。

📄 摘要（原文）

Pretrained vision-language-action models (VLAs) often fail midway through unseen long-horizon tasks. Recursive self-improvement (RSI) offers a remedy, but embodied RSI methods either refine the harness around a frozen executor and so cannot add a missing motion, or train the executor on persistent failures without asking whether a failure lies in how the executor is called or in what it can do. We ask when a self-improving embodied system should change the weights of its executor, and propose AdaRSI, an on-demand RSI framework for embodied agents. A coding agent first improves its skills and harness, then attributes persistent failures by retrying failing sub-steps from saved states, and fine-tunes only the sub-steps that remain unreliable, with demonstrations it collects itself and experience carried over from earlier tasks. On all 50 target tasks of RoboCasa365, with GR00T N1.5 as the executor and no human demonstrations, AdaRSI improves the VLA on all three suites and raises its success on unseen composite tasks from 4.6% to 13.8%. Compared with fine-tuning every sub-step, it reaches slightly higher success while using only 28% of the GPU time and 22% of the self-collected demonstrations, and fine-tuning without a harness trains more yet gains far less.