Privileged Context as Drift in On-Policy Self-Distillation
作者: Ravenor Davion, Nick Rui
分类: cs.LG
发布日期: 2026-10-06
备注: 18 pages, 4 figures, 5 tables
💡 一句话要点
提出特权上下文作为漂移以优化在线自蒸馏训练
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线自蒸馏 特权上下文 策略漂移 持续学习 KL散度 参数更新 自然语言处理
📋 核心要点
- 现有的在线自蒸馏方法在特权上下文设计上缺乏系统性，导致其效果难以评估和比较。
- 本文通过研究特权上下文的内容和来源对策略漂移的影响，提出了一种系统化的分析框架。
- 实验结果显示，内容变化对KL散度的影响显著，且参数更新几何的对齐程度也有所提升，表明特权上下文在稳定性设计中的重要性。
📝 摘要（中文）
在线自蒸馏（OPSD）训练语言模型，使其在特权上下文的条件下匹配自身的副本。现有研究在特权上下文的内容和生成方式上有所不同，同时也改变了模型、数据和训练设置，使得特权上下文设计的影响难以隔离。本文研究特权上下文的选择如何影响策略漂移，具体通过内容（演示、反馈或重述）和来源（外部、自生成带验证器或自生成不带验证器）两个维度进行变化。通过在九种组合和三个数据集上训练Qwen2.5-7B，测量目标任务准确率、先前任务保留、基础策略的反向KL和参数更新几何。结果表明，固定来源时，改变内容的中位KL范围更广，且参数更新几何显示出相似的模式。
🔬 方法详解
问题定义：本文旨在解决特权上下文设计对在线自蒸馏训练中策略漂移的影响，现有方法在这方面的研究较为零散，难以明确其效果。
核心思路：通过系统地改变特权上下文的内容和来源，分析其对策略漂移的影响，进而优化在线自蒸馏的稳定性。
技术框架：整体流程包括选择不同的特权上下文内容（如演示、反馈、重述）和来源（外部、自生成带验证器、自生成不带验证器），并在三个数据集上进行训练和评估。
关键创新：本研究首次系统性地分析了特权上下文的设计对策略漂移的影响，提出了在在线自蒸馏中将特权上下文视为稳定性设计的一部分。
关键设计：在实验中，采用了九种特权上下文组合，测量了目标任务准确率、先前任务保留和反向KL散度，参数更新几何也被纳入考量。
🖼️ 关键图片
📊 实验亮点
实验结果显示，固定来源时，改变内容的中位KL范围比固定内容时改变来源的范围更广，前者的比率为5.1倍（每个token的KL）和2.2倍（每个序列的KL）。参数更新几何的对齐程度也表明，内容共享的适配器更新更为一致，平均余弦相似度为0.571，而来源共享的为0.255。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够提升模型在动态环境中的学习能力和稳定性。未来，优化特权上下文的设计可能会推动更高效的自蒸馏方法的发展，促进智能系统的持续学习能力。
📄 摘要（原文）
On-policy self-distillation (OPSD) trains a language model to match a copy of itself conditioned on privileged context. Existing work varies what privileged context contains and how it is produced while also changing models, data, and training setups, making the effects of privileged context design difficult to isolate. Motivated by efforts in continual learning to reduce catastrophic forgetting, we study how the choice of privileged context affects policy drift. Specifically, we vary two axes: content (a demonstration, feedback, or rephrase) and source (external, self-generated with a verifier, or self-generated without a verifier). We train Qwen2.5-7B with OPSD across these nine combinations and three datasets, measuring target-task accuracy, prior-task retention, reverse KL from the base policy, and parameter-update geometry. Holding source fixed, changing content spans a wider median KL range than holding content fixed and changing source. The ratio between these ranges is $5.1\times$ for per-token KL and $2.2\times$ for per-sequence KL. Parameter-update geometry shows the same pattern: updates from adapters that share content are more closely aligned (mean cosine $0.571$) than updates from adapters that share source ($0.255$). For continual learning, these findings suggest that privileged context should be treated as part of OPSD's stability design because it is associated with how far and in what direction the policy moves.