Reverse-KL Policy Distillation: Statistical Guarantees and Limits
作者: Haolin Liu, Chen-Yu Wei, Julian Zimmert
分类: cs.LG
发布日期: 2026-10-22
💡 一句话要点
提出反KL蒸馏方法以解决统计保证与限制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 反KL蒸馏 样本复杂性 在线学习 离线学习 策略优化 统计保证 机器学习
📋 核心要点
- 现有的反KL蒸馏方法在统计保证和限制方面缺乏深入理解，尤其是在教师动作分布的利用上存在不确定性。
- 本文提出了一种新的在线反KL蒸馏方法，分析了教师动作分布的完整性对样本复杂性的影响，并引入了轨迹损失和重要性比率截断技术。
- 研究表明，离线反KL蒸馏在教师生成的动作和学生生成的动作上具有相同的最小最大速率，强调了在线蒸馏的额外统计挑战。
📝 摘要（中文）
反Kullback-Leibler（KL）蒸馏在训练语言模型方面展现了实证潜力，但其统计保证和限制仍不明确。本文探讨了教师的完整动作分布与仅观察学生生成动作的概率之间的优势，以及在线蒸馏与离线蒸馏的样本复杂性。我们建立了在线反KL蒸馏的最小最大界限，并指出在线蒸馏面临的额外统计挑战。通过轨迹损失和重要性比率截断技术，结合策略空间学习，达成了最佳在线蒸馏保证。
🔬 方法详解
问题定义：本文旨在解决反KL蒸馏在统计保证和样本复杂性方面的不足，尤其是教师的动作分布对蒸馏效果的影响尚不明确。
核心思路：通过分析在线和离线反KL蒸馏的样本复杂性，提出了一种新方法，利用教师的完整动作分布来优化学生策略的学习过程。
技术框架：研究分为两个主要部分：在线反KL蒸馏和离线反KL蒸馏。在线部分关注教师的动作分布对样本复杂性的影响，离线部分则分析教师生成的动作与学生生成的动作的比较。
关键创新：最重要的创新在于建立了在线反KL蒸馏的最小最大界限，指出了教师生成的动作如何揭示教师的偏好，而学生选择的动作可能无法反映这些偏好。
关键设计：采用了轨迹损失和重要性比率截断技术，结合策略空间学习，以实现最佳的在线蒸馏保证，确保在不同反馈模型下的有效性。
📊 实验亮点
实验结果表明，在线反KL蒸馏在教师完整动作分布的情况下，样本复杂性显著降低，而仅依赖学生生成动作的概率时，所需的数据量显著增加。离线蒸馏在教师生成动作的情况下，能够达到与在线蒸馏相同的最小最大速率，展示了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、强化学习和机器人控制等。通过提升蒸馏训练的效率和效果，可以在实际应用中更好地利用教师模型的知识，从而加速学生模型的训练过程，提升其性能和泛化能力。
📄 摘要（原文）
Reverse Kullback-Leibler (KL) distillation has shown empirical promise for training language models, but its statistical guarantees and limits remain poorly understood. In particular, the effects of two design choices remain unclear: Does access to the teacher's full action distribution provide an advantage over observing only the probability it assigns to the sampled action? Must training trajectories come from the student (online distillation), or can teacher-generated trajectories (offline distillation) suffice? Our work takes a first step toward understanding the theory underlying these questions. We study the sample complexity of online reverse-KL distillation under two feedback models: the teacher reveals either its full action distribution or only the probability of the student-generated action. We establish minimax bounds for the former and show that substantially more data may be required for the latter. In contrast, offline reverse-KL distillation can attain the same minimax rate whether the teacher reveals its full distribution or only its probability of the teacher-generated action. The key distinction is that teacher-generated actions themselves reveal the teacher's preferences, while queries at student-selected actions can leave those preferences unobserved. This highlights an additional statistical challenge for online distillation compared to offline distillation. These statistical guarantees do not follow simply from optimizing standard distillation objectives: our lower bounds show that common online objectives can fail when candidates are evaluated only on past student-generated trajectories. We develop trajectory-loss and importance-ratio truncation techniques together with policy-space learning to achieve optimal online distillation guarantees.