Does On-Policy Distillation for Safety Pose Backdoor Risks?

📄 arXiv: 2610.07654v1 📥 PDF

作者: Jian Luo, Kehan Qi, Qingqiao Hu, Meilong Xu, Jiacheng Qiu, Weimin Lyu, Jiawei Zhou, Chao Chen

分类: cs.LG, cs.AI

发布日期: 2026-10-06

💡 一句话要点

揭示OPD在安全性中的后门风险及其缓解方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线策略蒸馏 安全性 后门攻击 Lazy Defense 机器学习安全 攻击成功率 模型传播风险

📋 核心要点

  1. 现有的在线策略蒸馏方法通常假设教师模型和训练数据是可信的，但未考虑潜在的后门风险。
  2. 论文提出Lazy Defense作为一种缓解策略，通过限制KL奖励来减缓学生模型的更新，从而降低后门传播的风险。
  3. 实验结果表明，Lazy Defense在低污染率下有效延迟了后门传播，攻击成功率显著降低。

📝 摘要（中文）

在这篇论文中，作者探讨了在安全性背景下的在线策略蒸馏（OPD）所面临的潜在威胁。研究表明，即使是安全对齐的教师模型也可能传播隐藏的恶意行为给学生模型。在低至3%的污染率下，蒸馏学生的攻击成功率（ASR）可高达70%。此外，增加训练周期和使用top-k KL损失函数会加剧这一风险。为此，作者提出了一种简单的缓解方法Lazy Defense，通过限制KL奖励来减缓后门学习的速度。实验结果显示，Lazy Defense在低污染率设置下有效延迟了后门传播。

🔬 方法详解

问题定义：本论文关注在线策略蒸馏（OPD）在安全性方面的隐患，尤其是当教师模型存在后门时，如何影响学生模型的安全性。现有方法通常假设教师模型是可信的，这一假设在实际应用中可能导致严重的安全隐患。

核心思路：论文的核心思路是揭示即使是安全对齐的教师模型也可能通过OPD传播恶意行为。通过分析训练过程中的不同选择，作者发现增加训练周期和使用特定的损失函数会加剧后门传播的风险。

技术框架：研究首先建立了一个威胁模型，分析了教师模型的后门如何影响学生模型的学习。接着，提出Lazy Defense作为一种缓解策略，通过调整KL奖励来减缓学生模型的更新速度，从而降低后门传播的可能性。

关键创新：论文的主要创新在于识别了OPD在安全性方面的潜在风险，并提出Lazy Defense作为一种有效的缓解措施。这与现有方法的本质区别在于，现有方法通常未考虑教师模型的安全性，而本研究则强调了这一点的重要性。

关键设计：在实验中，作者设置了不同的训练周期和损失函数，特别是top-k KL和采样token KL的比较。结果表明，top-k KL会加速后门传播，而Lazy Defense通过限制KL奖励有效延迟了后门的转移。实验还表明，在仅有10个污染样本的情况下，经过16个周期的训练，ASR可达67%。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，在低至3%的污染率下，攻击成功率（ASR）可高达70%。通过Lazy Defense，研究表明在仅有10个污染样本的情况下，经过16个训练周期后，ASR可降至67%。这一发现强调了OPD在安全性方面的潜在风险及其缓解的重要性。

🎯 应用场景

该研究的潜在应用领域包括安全敏感的机器学习系统，如自动驾驶、金融监控和医疗诊断等。在这些领域，确保模型的安全性和可靠性至关重要。未来，随着对模型安全性关注的增加，Lazy Defense等缓解策略可能会被广泛应用于实际系统中，以防止后门攻击。

📄 摘要（原文）

On-policy distillation (OPD) has attracted growing attention as an effective way to transfer capabilities from teacher models to student models. Recent studies further explore OPD as a tool for improving large language model safety with promising results. However, these approaches typically assume that the teacher and training data are trustworthy. In this paper, we uncover an overlooked threat to OPD for safety: a safety-aligned but backdoored teacher can propagate its hidden malicious behavior to an initially clean student. Under our threat model, a poisoning rate as low as 3% results in an attack success rate (ASR) of up to 70% on the distilled student. We further identify two training choices that can amplify this risk. First, increasing the number of training epochs can lead to high ASR even at low poisoning rates. With only 10 poisoned samples, ASR reaches 67% after 16 epochs. Second, the commonly used top-k KL can accelerate backdoor transfer, causing trigger-conditioned harmful behavior to emerge earlier than sampled-token KL in most settings. Alongside these findings, we explore a simple mitigation, Lazy Defense, which clips KL rewards to make student updates less aggressive, limiting aggressive updates and slowing backdoor learning. Experiments show that Lazy Defense delays backdoor transfer in low poisoning rate settings. Together, our findings reveal that OPD can propagate backdoors, highlighting the need to address the safety risks of OPD.