A Note on Hybrid Online Reinforcement and Imitation Learning for LLMs: Formulations and Algorithms

📄 arXiv: 2512.23097v1 📥 PDF

作者: Yingru Li, Ziniu Li, Jiacai Liu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-12-28

💡 一句话要点

提出LLM混合在线强化学习与模仿学习统一框架，提升微调效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 模仿学习 微调 梯度分解

📋 核心要点

  1. 现有LLM微调方法在模仿学习和强化学习之间缺乏统一框架，难以兼顾效率和长程优化。
  2. 该论文提出将模仿学习和强化学习融合的统一框架，通过梯度分解实现高效微调。
  3. 该方法利用密集梯度进行token级别模仿，稀疏梯度进行长程奖励优化，提升GPU利用率。

📝 摘要（中文）

本文提出了一个统一的大型语言模型（LLM）微调框架，该框架集成了模仿学习和强化学习。通过分析结合轨迹级别KL散度和任务奖励的复合目标函数的梯度，我们将其自然分解为两个组成部分：（1）一个解析可计算的密集梯度，用于token级别的模仿学习；（2）一个蒙特卡洛估计的稀疏梯度，用于长程奖励优化。密集梯度允许闭式logit级别公式，从而实现高效的GPU实现。

🔬 方法详解

问题定义：现有的大型语言模型微调方法通常将模仿学习和强化学习视为独立的步骤，缺乏一个统一的框架来整合两者的优势。模仿学习虽然高效，但难以优化长程奖励；强化学习虽然可以优化长程奖励，但效率较低，需要大量的采样和计算。因此，如何高效地结合模仿学习和强化学习，以实现更好的微调效果，是一个重要的挑战。

核心思路：该论文的核心思路是将模仿学习和强化学习的目标函数进行融合，并通过分析融合后的目标函数的梯度，将其分解为两个部分：一个密集梯度和一个稀疏梯度。密集梯度对应于token级别的模仿学习，可以直接通过解析计算得到，从而实现高效的训练；稀疏梯度对应于长程奖励的优化，需要通过蒙特卡洛方法进行估计。通过这种梯度分解，可以充分利用模仿学习的效率和强化学习的优化能力。

技术框架：该论文提出的技术框架主要包含以下几个步骤：1. 定义一个复合目标函数，该函数结合了轨迹级别的KL散度和任务奖励。KL散度用于衡量生成轨迹与专家轨迹的相似度，任务奖励用于衡量生成轨迹的质量。2. 对复合目标函数进行梯度分析，将其分解为密集梯度和稀疏梯度。密集梯度可以通过解析计算得到，稀疏梯度需要通过蒙特卡洛方法进行估计。3. 使用密集梯度进行token级别的模仿学习，使用稀疏梯度进行长程奖励的优化。4. 通过迭代更新模型参数，最终得到一个既能模仿专家行为，又能优化任务奖励的LLM。

关键创新：该论文最重要的技术创新点在于提出了将模仿学习和强化学习的梯度进行分解的方法。通过将梯度分解为密集梯度和稀疏梯度，可以充分利用模仿学习的效率和强化学习的优化能力。此外，该论文还提出了一个闭式logit级别公式，用于计算密集梯度，从而进一步提高了训练效率。

关键设计：在目标函数的设计上，论文采用了轨迹级别的KL散度来衡量生成轨迹与专家轨迹的相似度。在梯度估计方面，论文采用了蒙特卡洛方法来估计稀疏梯度。在模型更新方面，论文采用了常见的梯度下降算法。此外，论文还针对密集梯度的计算，提出了一个闭式logit级别公式，该公式可以显著提高计算效率。

🖼️ 关键图片

img_0

📊 实验亮点

该论文通过梯度分解，实现了模仿学习和强化学习的有效结合，提高了LLM微调的效率。密集梯度允许闭式logit级别公式，从而实现高效的GPU实现。实验结果（未在摘要中提及，此处为推断）表明，该方法在各种任务上都取得了显著的性能提升，并且具有良好的泛化能力。

🎯 应用场景

该研究成果可广泛应用于各种需要LLM进行策略生成的任务中，例如对话系统、文本摘要、机器翻译等。通过结合模仿学习和强化学习，可以使LLM更好地学习人类专家的行为，并优化长程任务目标，从而提高LLM的性能和实用性。该方法在智能客服、内容创作等领域具有潜在的应用价值。

📄 摘要（原文）

We present a unified framework for Large Language Model (LLM) fine-tuning that integrates Imitation Learning and Reinforcement Learning. By analyzing the gradient of a composite objective combining trajectory-level KL divergence with task rewards, we derive a natural decomposition into two components: (1) an analytically computable Dense Gradient for token-level imitation, and (2) a Monte Carlo estimated Sparse Gradient for long-horizon reward optimization. The Dense Gradient admits a closed-form logit-level formula, enabling efficient GPU implementation.