Conflict-Aware Logit Adapters for Utility-Preserving Anti-Distillation

📄 arXiv: 2610.31046v1 📥 PDF

作者: Quoc Phong Dao, Binh Anh Nguyen, Linh Ngo Van, Thanh-Toan Do, Mehrtash Harandi, Trung Le

分类: cs.AI

发布日期: 2026-10-22

备注: NeurIPS 2026

💡 一句话要点

提出冲突感知逻辑适配器以解决蒸馏训练中的信息泄露问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 蒸馏训练 模型防御 输出扰动 自然语言处理 计算机视觉

📋 核心要点

  1. 现有的蒸馏训练方法在推理过程中容易泄露教师模型的信息，导致学生模型的性能下降。
  2. 本文提出了CALA，通过在教师模型上附加残差适配器，在训练时进行输出扰动以防止信息泄露。
  3. 实验结果显示，CALA在多个推理基准上显著降低了学生模型的模仿成功率，同时保持了教师模型的性能和生成质量。

📝 摘要（中文）

尽管推理轨迹提升了模型能力，但也为下游蒸馏提供了监督信号。初步的解决方案依赖于解码时的干预，但会增加推理开销并可能损害教师模型的自然流畅性。本文提出了冲突感知逻辑适配器（CALA），这是一种轻量级的训练时防御方法。CALA将一个小的残差适配器附加到冻结的教师模型上，仅训练适配器。代理学生识别模仿最敏感的位置，适配器在这些位置扰动输出分布，同时保持在高概率区域内。冲突感知优化策略平衡了反蒸馏和效用目标，而正则化则保持教师的性能和流畅性。在推理时，CALA的开销适中且不需要辅助模型。实验结果表明，CALA显著减少了成功的学生模仿，同时保持了接近原始教师的性能和生成质量。

🔬 方法详解

问题定义：本文旨在解决蒸馏训练过程中教师模型信息泄露的问题。现有方法主要依赖解码时的干预，导致推理开销增加且可能影响教师模型的流畅性。

核心思路：CALA通过在冻结的教师模型上附加一个小的残差适配器，仅训练该适配器，从而在训练阶段对输出进行扰动，避免信息泄露。代理学生模型识别模仿敏感位置，适配器在这些位置进行扰动。

技术框架：CALA的整体架构包括一个冻结的教师模型和一个训练中的残差适配器。代理学生模型用于识别敏感位置，适配器在这些位置进行输出扰动，优化策略则平衡反蒸馏和效用目标。

关键创新：CALA的主要创新在于其轻量级的训练时防御机制，通过适配器扰动输出分布，显著降低了学生模型的模仿成功率，而不依赖于复杂的解码时干预。

关键设计：在设计中，适配器的结构较小，损失函数结合了反蒸馏和正则化项，以确保教师模型的性能和流畅性。适配器的训练仅需少量参数，降低了计算开销。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，CALA在多个推理基准上显著降低了学生模型的模仿成功率，成功率降低幅度达到XX%，同时保持了教师模型的性能和生成质量，证明了其作为解码时方法的高效替代方案的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等需要模型蒸馏的场景。通过有效防止信息泄露，CALA能够在保持教师模型性能的同时，提升学生模型的训练效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

While reasoning traces improve model capability, they also provide supervision signals for downstream distillation. Initial efforts to mitigate this issue rely on decoding-time interventions, but they incur high inference overhead and can harm the teacher model's natural fluency. We propose Conflict-Aware Logit Adapters (CALA), a lightweight training-time defense. CALA attaches a small residual adapter to a frozen teacher model and trains only the adapter. A proxy student identifies positions where imitation is most sensitive, and the adapter perturbs the output distribution at these positions while remaining within high-probability regions. A conflict-aware optimization strategy balances anti-distillation and utility objectives, while regularization preserves the teacher's performance and fluency. At inference time, CALA incurs modest overhead and requires no auxiliary model. Experiments on reasoning benchmarks show that CALA substantially reduces successful student imitation while maintaining near-original teacher performance and generation quality. These results establish CALA as a practical and efficient alternative to decoding-time approaches.