GIFT: Gradient Informed Filtering for Distillation Augmented Reasoning RL

📄 arXiv: 2610.30796v1 📥 PDF

作者: Shijie Li, Yilin Gao, Tieyuan Chen, Yun Luo, Weiyao Lin, Hang Yu

分类: cs.LG

发布日期: 2026-10-22

🔗 代码/项目: GITHUB

💡 一句话要点

提出GIFT以解决蒸馏与强化学习目标不兼容问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 蒸馏训练 强化学习 推理任务 几何分析 模型优化 教师更新 覆盖退火 深度学习

📋 核心要点

  1. 现有方法在蒸馏与强化学习目标之间存在不兼容性，导致优化效果不理想。
  2. GIFT通过几何分析分解蒸馏梯度，提供安全过滤和价值量化，优化教师更新的分配。
  3. 在数学和逻辑推理基准测试中，GIFT在多个模型规模上均表现优异，相对增益高达9.5%。

📝 摘要（中文）

训练大型语言模型以应对复杂推理任务依赖于两种互补信号：稀疏的基于结果的强化学习（RL）和密集的基于标记的蒸馏指导。然而，监督的互补性并不保证优化的兼容性；以模仿为中心的蒸馏可能与基于结果的RL目标发生冲突，现有的混合方法缺乏原则性的解决方案。我们提出了GIFT（Gradient Informed Filtering for Distillation-Augmented Reasoning RL），一种新方法，直接解决了教师更新的分配问题。GIFT通过令牌级几何分析，将蒸馏梯度分解为与RL梯度平行的分量和正交的分量，从而提供安全过滤和价值量化。这种分解产生了一个原则性的评分规则来对令牌级指导进行排序，并结合渐进的覆盖退火调度，确保优先保留最互补的更新。大量实验表明，GIFT在多个模型规模上均优于强基线，在困难的数学推理任务上实现了高达9.5%的相对增益。

🔬 方法详解

问题定义：本论文旨在解决蒸馏训练与强化学习目标之间的不兼容性问题。现有方法在优化过程中，模仿为中心的蒸馏与基于结果的强化学习目标可能发生冲突，导致训练效果不佳。

核心思路：GIFT的核心思路是通过对蒸馏梯度进行几何分析，将其分解为与RL梯度平行和正交的两个分量。平行分量用于测量一阶冲突并提供安全过滤，而正交分量则量化新的方向性指导，从而优化教师更新的选择。

技术框架：GIFT的整体架构包括两个主要模块：蒸馏梯度的几何分解和覆盖退火调度。首先，通过几何分析对蒸馏梯度进行分解，接着根据分解结果进行教师更新的选择，并结合覆盖退火调度逐步减少接受蒸馏的令牌数量。

关键创新：GIFT的主要创新在于其对蒸馏梯度的几何分解方法，能够有效区分与RL目标的冲突与互补性。这一方法与现有的混合方法相比，提供了更为原则性的解决方案。

关键设计：在GIFT中，设计了一个评分规则来对令牌级指导进行排序，并采用渐进的覆盖退火调度，以确保在训练过程中优先保留最互补的更新，同时逐步减少冲突更新的影响。具体的参数设置和损失函数设计在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在数学和逻辑推理基准测试中，GIFT在多个模型规模上均表现优异，尤其是在困难的数学推理任务上实现了高达9.5%的相对增益，显著优于现有强基线，展示了其在复杂推理任务中的有效性。

🎯 应用场景

GIFT方法在复杂推理任务中的应用潜力巨大，尤其是在需要结合多种学习信号的场景中，如自然语言处理、智能问答系统和自动推理等领域。通过优化蒸馏与强化学习的结合，GIFT能够提升模型的推理能力和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Training large language models for complex reasoning tasks relies on two complementary signals: sparse, outcome-grounded reinforcement learning (RL) for correctness, and dense, token-level distillation for guidance. However, complementarity in supervision does not guarantee compatibility in optimization; imitation-focused distillation can conflict with the outcome-driven RL objective, and existing hybrids lack a principled resolution. We propose \textbf{GIFT} (\textbf{G}radient-\textbf{I}nformed \textbf{F}il\textbf{T}ering for Distillation-Augmented Reasoning RL), a novel method that directly addresses the allocation problem of which teacher updates to apply. GIFT performs a token-level geometric analysis, decomposing the distillation gradient into a component \textbf{parallel} to the RL gradient, which measures first-order conflict and provides a \textbf{safety} filter, and a component \textbf{orthogonal} to it, which quantifies novel directional guidance and provides a measure of \textbf{value}. This decomposition yields a principled scoring rule to rank token-level guidance. We combine this with a progressive \textbf{coverage annealing} schedule that shrinks the budget of tokens receiving distillation, ensuring that the most conflicting updates are discarded first while the most complementary ones are retained at full strength. This facilitates a smooth transition from dense, geometrically-filtered guidance to a pure, outcome-grounded objective at convergence. Extensive experiments on mathematical and logical reasoning benchmarks show that GIFT consistently outperforms strong baselines across multiple model scales, achieving relative gains of up to 9.5\% on difficult mathematical reasoning tasks. Code: https://github.com/lilifree/GIFT