ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models

📄 arXiv: 2610.18596v1 📥 PDF

作者: Changyeon Kim, Kimin Lee, Yashraj Narang, Yijie Guo

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-10-13

备注: Project website: https://accrue-rl.github.io

💡 一句话要点

提出ACCRUE以解决机器人基础模型的持续学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 离策略强化学习 机器人基础模型 知识重用 行为蒸馏 多任务学习 训练效率

📋 核心要点

  1. 现有的持续强化学习方法在任务间知识转移有限，无法有效保留已学得的行为。
  2. ACCRUE通过轻量级的演员和评论家网络在任务间共享知识，允许重用先前学习的行为和价值信息。
  3. 在模拟和真实机器人硬件上，ACCRUE显著加速了后续任务学习，减少了训练时间，几乎没有遗忘。

📝 摘要（中文）

强化学习（RL）后期训练能够提升机器人基础模型（RFM）的性能，但在实际应用中需要更高效地学习新任务，同时保留已获得的行为。现有的持续RL方法依赖于策略更新，导致任务间的知识转移有限。本文提出了ACCRUE，一个持续的离策略RL框架，通过轻量级的演员和评论家网络在任务间共享知识，允许每个阶段重用先前RL获得的行为和价值知识。实验结果表明，ACCRUE在接触丰富的装配序列中加速了后续任务的学习，几乎没有遗忘，并显著减少了真实机器人训练时间31.0%至68.5%。

🔬 方法详解

问题定义：本文旨在解决机器人基础模型在持续学习新任务时的遗忘问题。现有方法多依赖于策略更新，导致在新任务学习时无法有效保留旧任务的知识。

核心思路：ACCRUE框架通过轻量级的演员和评论家网络在不同任务间共享知识，允许在当前任务中重用先前学习的行为和价值信息，从而提高学习效率。

技术框架：ACCRUE的整体架构包括一个共享的演员网络和评论家网络，演员网络在当前任务中进行学习，而评论家网络则根据当前任务的转移进行适应。通过保留少量历史回合，ACCRUE能够将旧任务的行为信息蒸馏到当前任务中。

关键创新：ACCRUE的主要创新在于其离策略学习能力，允许在任务间有效重用知识，解决了现有方法在多任务学习中遗忘的问题。

关键设计：ACCRUE采用固定的视觉特征以保持继承学习者与基础策略更新的兼容性，同时通过小规模保留的回合来蒸馏演员网络的目标，确保学习过程的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ACCRUE在接触丰富的装配序列中实现了近乎零遗忘，后续任务学习速度显著加快，真实机器人训练时间减少了31.0%至68.5%。这些结果表明ACCRUE在多任务学习中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括机器人装配、自动化生产线和智能制造等场景。通过提高机器人在多任务环境中的学习效率，ACCRUE能够显著降低训练成本，提升机器人在实际应用中的适应能力和灵活性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL) post-training improves robot foundation models (RFMs) beyond their demonstrations, but real-world deployment demands more: learning new tasks efficiently while retaining previously acquired behaviors. Existing continual RL methods on top of VLAs mitigate forgetting but rely on on-policy updates with limited forward transfer, whereas off-policy methods improve single-task sample efficiency without addressing learner persistence across tasks. We propose ACCRUE, a continual off-policy RL framework that carries lightweight actor and critic networks across tasks, allowing each stage to reuse behavioral and value knowledge acquired through prior RL. The inherited critic adapts only on current-task transitions and guides current-task actor learning, while prior behavior is preserved by distilling the actor toward cached targets on a small number of retained episodes. Fixed visual features keep the inherited learner and its replay compatible with base-policy updates. Across contact-rich assembly sequences in simulation and on real-robot hardware, ACCRUE accelerates subsequent-task learning with near-zero forgetting and significantly reduces real-robot training time by 31.0\% to 68.5\%.