Understanding On-Policy Distillation: A Mechanistic Interpretability Perspective via Sparse Crosscoders
作者: Zichao Yu, Qianshuo Ye, Xu Wang, Difan Zou
分类: cs.CL
发布日期: 2026-09-28
💡 一句话要点
提出稀疏交叉编码器以解析在政策蒸馏中的机制
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 政策蒸馏 稀疏交叉编码器 特征重加权 模型优化 知识迁移
📋 核心要点
- 现有的政策蒸馏方法未能清晰地解释其如何改变学生模型的特征使用，导致理解上的不足。
- 论文提出了交换读出方法，能够独立读取每个学生检查点的特征激活，分析训练对特征使用的影响。
- 实验结果表明，OPD主要是对现有特征进行重新加权，而非创造新特征，且SFT预热显著提升了蒸馏效果。
📝 摘要（中文）
在政策蒸馏（OPD）是一种广泛应用于大型语言模型推理的后训练技术。尽管普遍认为它能够从更强的教师模型中转移知识，但OPD实际蒸馏到学生内部表示的内容仍不清楚。本文通过稀疏交叉编码器研究这一问题，提出了交换读出方法，以测量训练如何改变学生对特征的使用。研究发现，OPD并未创造新特征或传递教师的特征，而是重新加权现有特征，且SFT预热在此过程中起到重要作用。通过对直接蒸馏的学生特征施加这种重新加权，准确率接近预热学生的水平。
🔬 方法详解
问题定义：本文旨在解决在政策蒸馏过程中，学生模型如何使用特征的变化不明确的问题。现有的交叉编码器分析无法揭示模型特征使用的变化，限制了对OPD的理解。
核心思路：提出的交换读出方法允许独立读取学生模型的特征激活，从而能够准确测量训练过程中的特征使用变化。这种方法能够分析未见过的检查点，提供更全面的理解。
技术框架：整体流程包括使用稀疏交叉编码器构建共享特征字典，随后通过交换读出方法分析学生模型在不同训练阶段的特征激活。主要模块包括特征提取、激活测量和结果分析。
关键创新：最重要的创新在于交换读出方法的提出，使得能够独立分析学生模型的特征使用变化，突破了传统交叉编码器的局限性。与现有方法相比，该方法提供了更细致的机制解释。
关键设计：在实验中，采用了特征共享机制和激活重加权策略，确保了模型在不同训练阶段的特征使用能够被有效测量和比较。
🖼️ 关键图片
📊 实验亮点
实验结果显示，OPD在特征使用上并未创造新特征，而是对现有特征进行了重新加权，98%以上的特征使用率变化在20%以内。此外，SFT预热显著提升了蒸馏效果，使得直接蒸馏的学生特征准确率接近预热学生的水平，展示了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器学习模型的优化和知识迁移等。通过深入理解政策蒸馏的机制，能够为模型训练提供更有效的策略，提升模型的推理能力和准确性，具有重要的实际价值和未来影响。
📄 摘要（原文）
On-policy distillation (OPD) is a widely adopted post-training technique for LLM reasoning. It is commonly believed to transfer knowledge from a stronger teacher, yet what OPD actually distills into the student's internal representations remains unclear. We study this question with sparse crosscoders, which learn one feature dictionary shared by the student before and after OPD and the teacher. Standard crosscoder analyses, however, identify model-specific features but cannot tell how a model's use of its features changes, since all models are encoded into one set of feature activations. We therefore propose the swap readout, which reads each student checkpoint's feature activations on its own, measuring how training changes the student's use of each feature, even for checkpoints unseen by the crosscoder. Across three OPD settings, we find that OPD neither creates features nor passes on the teacher's own, and leaves the firing rates of over 98% of the student's frequently used features within 20%. We further examine the SFT warm-up on the teacher's rollouts that commonly precedes OPD and makes it more effective. Rather than adding features, the warm-up reweights the shared ones in two ways. First, it already raises and lowers many of the features that OPD later raises and lowers, doing part of OPD's work in advance. Second, it changes features that OPD alone would not, notably those for conversation format, reasoning style, and mathematical notation, and these changes persist through OPD. Imposing this reweighting on a directly distilled student's features, without changing its weights, brings its accuracy close to that of the warmed-up student, whereas the same change on shuffled features does not. Together, these findings suggest that OPD reweights existing features rather than acquiring new ones: the student learns from the teacher how to use the features they already share.