Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation
作者: Youxu Shi, Yifan Sun, Dacheng Yin, Haomiao Tang, Guangting Wang, Fengyun Rao, Jing Lyu, Dong Liu
分类: cs.LG, cs.AI
发布日期: 2026-09-29
💡 一句话要点
提出插值策略蒸馏以解决蒸馏轨迹质量与可学习性平衡问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 插值策略蒸馏 离线蒸馏 在线蒸馏 多模态学习 自然语言处理 模型训练 推测解码
📋 核心要点
- 现有的离线和在线蒸馏方法各有优缺点，难以兼顾轨迹质量与学生的学习能力。
- 本文提出插值策略蒸馏（IPD），通过线性插值实现教师与学生分布的平衡，提升学习效果。
- 实验表明，IPD在多种基准测试中均优于传统方法，展示了其在轨迹质量与可学习性方面的优势。
📝 摘要（中文）
传统的离线和在线蒸馏被视为两个独立的范式，各自侧重于蒸馏轨迹的不同特性。教师生成的离线轨迹通常质量较高，但与学生的分布相距较远；而学生生成的在线轨迹更易学习，但常包含错误推理。本文提出插值策略蒸馏（IPD），通过在每个解码步骤上将学生和教师的分布进行线性插值，提供了对轨迹质量与学生可学习性之间平衡的直接控制。实验结果表明，IPD在文本和多模态推理基准上均优于传统的两端策略和启发式方法，证明了基于token级别的策略插值能够更好地平衡这两者。
🔬 方法详解
问题定义：现有的离线蒸馏（OPD）和在线蒸馏（SFT）方法在轨迹质量和学生可学习性之间存在明显的权衡，导致无法充分利用两者的优势。
核心思路：本文提出的插值策略蒸馏（IPD）通过在每个解码步骤上进行教师和学生分布的线性插值，提供了一种新的策略，使得轨迹质量和学生的学习能力可以灵活调节。
技术框架：IPD的整体架构包括教师模型和学生模型的交互，通过插值系数控制生成的下一个token的分布。具体流程为：在每个解码步骤中，计算教师和学生分布的插值，并利用新的推测解码规则加速生成过程。
关键创新：IPD的核心创新在于其token级别的插值策略，这一方法不同于传统的启发式段间交替方法，能够精确实现插值而无需手动设计切换规则。
关键设计：在实现过程中，设计了插值系数以控制轨迹的质量与可学习性之间的平衡，同时采用了新的推测解码规则以提高生成效率，确保插值的准确性。具体的损失函数和网络结构细节在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
在多个文本和多模态推理基准测试中，IPD相较于传统的离线蒸馏和在线蒸馏方法，性能提升显著，尤其在轨迹质量和学生可学习性方面，展示了更优的平衡效果，具体提升幅度达到了X%（具体数据需根据实验结果填写）。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和多模态学习等。通过提升蒸馏策略的灵活性和效率，IPD能够在实际应用中更好地平衡模型性能与训练成本，推动智能系统的进一步发展。
📄 摘要（原文）
Off-policy and on-policy distillation have traditionally been formulated as separate paradigms, each favoring a different property of distillation trajectories. Teacher-generated (off-policy) traces are typically high-quality but lie far from the student's distribution, whereas student-generated (on-policy) rollouts are more learnable but often contain erroneous reasoning. We view these paradigms as the endpoints of a policy continuum and posit that a more effective rollout policy may lie in between. We introduce \textbf{Interpolated Policy Distillation (IPD)}, which defines the next-token distribution at every decoding step as an explicit linear interpolation between the student and teacher distributions. The interpolation operates at the distribution level, token by token, and its coefficient provides direct control over the balance between trajectory quality and student learnability. Naively sampling from this policy would require sequentially querying the teacher at every token and is thus expensive. To make IPD practical, we accelerate it with a new speculative-decoding rule while exactly preserving the interpolated next-token distribution.At the trajectory level, the resulting rollouts naturally interleave student- and teacher-generated segments. Unlike recent heuristic segment-interleaving methods, however, this interleaving is induced by an exactly realized token-level interpolated policy rather than by hand-designed switching rules. Across text-only and multimodal reasoning benchmarks, IPD consistently outperforms both endpoint policies (SFT and OPD), their conventional two-stage combination (SFT-then-OPD), and recent heuristic segment-interleaving methods, demonstrating that token-level policy interpolation better balances trajectory quality and student learnability.