IN-RIL: Interleaved Reinforcement and Imitation Learning for Policy Fine-Tuning

📄 arXiv: 2505.10442v1 📥 PDF

作者: Dechen Gao, Hang Wang, Hanchu Zhou, Nejib Ammar, Shatadal Mishra, Ahmadreza Moradipari, Iman Soltani, Junshan Zhang

分类: cs.RO, cs.AI

发布日期: 2025-05-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出IN-RIL，通过交错强化学习与模仿学习提升机器人策略微调的稳定性与效率。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 模仿学习 机器人学习 策略微调 梯度分离

📋 核心要点

  1. 现有基于模仿学习预训练后强化学习微调的方法，在微调阶段存在不稳定和样本效率低的问题。
  2. IN-RIL通过交错进行强化学习和模仿学习更新，利用模仿学习的稳定性和专家数据的指导，提升探索效率。
  3. 实验表明，IN-RIL能显著提高样本效率，减轻性能崩溃，且作为一个通用插件，可兼容多种RL算法。

📝 摘要（中文）

模仿学习(IL)和强化学习(RL)在机器人策略学习中各有优势：IL提供从演示中稳定学习的能力，而RL通过探索促进泛化。现有的基于IL预训练后进行RL微调的方法很有前景，但这种两步学习范式在RL微调阶段常常面临不稳定和样本效率低的问题。本文提出IN-RIL，即交错强化学习与模仿学习，用于策略微调。该方法在多次RL更新后周期性地注入IL更新，从而受益于IL的稳定性以及专家数据的指导，以便在整个微调过程中进行更有效的探索。由于IL和RL涉及不同的优化目标，我们开发了梯度分离机制，通过在正交子空间中分离可能冲突的梯度更新，来防止微调期间的破坏性干扰。此外，我们进行了严格的分析，揭示了将IL与RL交错可以稳定学习并提高样本效率的原因。在包括FurnitureBench、OpenAI Gym和Robomimic在内的3个基准测试中的14个机器人操作和运动任务上的大量实验表明，IN-RIL可以显著提高样本效率，并减轻在线微调期间的性能崩溃，适用于长短期任务以及稀疏或密集奖励。IN-RIL作为一个通用的插件，与各种最先进的RL算法兼容，可以显著改善RL微调，例如，在Robomimic Transport上的成功率从12%提高到88%，提升了6.3倍。

🔬 方法详解

问题定义：论文旨在解决机器人策略微调过程中，单纯依赖强化学习（RL）进行微调时，由于探索空间过大、奖励稀疏等问题导致的训练不稳定和样本效率低下的问题。现有方法通常采用先模仿学习（IL）预训练，再RL微调的两阶段策略，但RL微调阶段容易出现性能崩溃，难以充分利用专家数据。

核心思路：论文的核心思路是将强化学习和模仿学习交错进行，即在多次RL更新后，周期性地注入IL更新。这样既能利用RL的探索能力，又能借助IL的稳定性以及专家数据的指导，从而更有效地进行策略微调。通过交错学习，模型可以在探索新策略的同时，避免偏离专家策略太远，从而提高训练的稳定性和样本效率。

技术框架：IN-RIL的整体框架是在现有的RL算法基础上，增加一个IL更新模块，并设计梯度分离机制。具体流程如下： 1. 使用RL算法（如PPO、SAC等）进行多次策略更新。 2. 使用模仿学习，根据专家数据进行策略更新。 3. 使用梯度分离机制，将RL和IL的梯度投影到不同的子空间，避免冲突。 4. 重复步骤1-3，直到训练收敛。

关键创新：论文的关键创新在于提出了交错学习的范式，以及相应的梯度分离机制。交错学习使得RL和IL能够相互促进，共同提升策略的性能。梯度分离机制则解决了RL和IL目标函数不一致可能导致的梯度冲突问题，保证了训练的稳定性。

关键设计：梯度分离机制是IN-RIL的关键设计。具体来说，假设RL的梯度为g_RL，IL的梯度为g_IL，则首先计算g_RL在g_IL方向上的投影g_proj = (g_RL · g_IL) / ||g_IL||^2 * g_IL。然后，将g_RL分解为g_proj和g_orth = g_RL - g_proj两个正交分量。在更新策略时，只使用g_orth进行更新，从而避免g_RL和g_IL之间的直接冲突。交错的频率是一个重要的超参数，需要根据具体任务进行调整。论文中没有明确给出交错频率的具体设置方法，可能需要通过实验进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，IN-RIL在多个机器人操作和运动任务上均取得了显著的性能提升。例如，在Robomimic Transport任务上，IN-RIL将成功率从12%提高到88%，提升了6.3倍。此外，IN-RIL还能够有效缓解在线微调期间的性能崩溃问题，并且作为一个通用插件，可以与多种RL算法兼容。

🎯 应用场景

IN-RIL具有广泛的应用前景，可应用于各种机器人操作和运动任务，例如物体抓取、装配、导航等。该方法能够提高机器人学习的效率和稳定性，降低对大量人工标注数据的依赖，从而加速机器人在工业、服务等领域的应用。未来，IN-RIL可以进一步扩展到多智能体系统、人机协作等更复杂的场景。

📄 摘要（原文）

Imitation learning (IL) and reinforcement learning (RL) each offer distinct advantages for robotics policy learning: IL provides stable learning from demonstrations, and RL promotes generalization through exploration. While existing robot learning approaches using IL-based pre-training followed by RL-based fine-tuning are promising, this two-step learning paradigm often suffers from instability and poor sample efficiency during the RL fine-tuning phase. In this work, we introduce IN-RIL, INterleaved Reinforcement learning and Imitation Learning, for policy fine-tuning, which periodically injects IL updates after multiple RL updates and hence can benefit from the stability of IL and the guidance of expert data for more efficient exploration throughout the entire fine-tuning process. Since IL and RL involve different optimization objectives, we develop gradient separation mechanisms to prevent destructive interference during \ABBR fine-tuning, by separating possibly conflicting gradient updates in orthogonal subspaces. Furthermore, we conduct rigorous analysis, and our findings shed light on why interleaving IL with RL stabilizes learning and improves sample-efficiency. Extensive experiments on 14 robot manipulation and locomotion tasks across 3 benchmarks, including FurnitureBench, OpenAI Gym, and Robomimic, demonstrate that \ABBR can significantly improve sample efficiency and mitigate performance collapse during online finetuning in both long- and short-horizon tasks with either sparse or dense rewards. IN-RIL, as a general plug-in compatible with various state-of-the-art RL algorithms, can significantly improve RL fine-tuning, e.g., from 12\% to 88\% with 6.3x improvement in the success rate on Robomimic Transport. Project page: https://github.com/ucd-dare/IN-RIL.