Selective Transfer through Sequence Distillation: From Benchmark Knowledge to Backdoor Behaviour
作者: Jonibek Mansurov, Sholpan Bolatzhanova, Filbert Aurelian Tjiaranta, Vallerie Alexandara Putra, Alham Fikri Aji
分类: cs.AI
发布日期: 2026-10-19
🔗 代码/项目: GITHUB
💡 一句话要点
提出选择性蒸馏方法以解决知识转移中的后门行为问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 知识蒸馏 后门行为 模型安全 选择性转移 机器学习
📋 核心要点
- 现有知识蒸馏方法可能会无意中转移教师模型的非意图属性，例如后门行为，导致安全隐患。
- 本文提出了一种选择性蒸馏方法，研究不同教师属性在蒸馏过程中的存活情况，特别关注基准知识与拒绝后门的对比。
- 实验结果表明，基于Logit的蒸馏方法能够有效转移拒绝后门行为，触发拒绝率高达85.5%，显示出蒸馏的选择性特征。
📝 摘要（中文）
知识蒸馏广泛用于将教师模型的能力转移至学生模型，但近期研究表明，它也可能转移教师模型的非意图属性。本文研究了不同隐藏教师属性在相同蒸馏通道中的存活情况，比较了基准知识和拒绝后门这两种属性。结果显示，教师在基准数据上微调后，能够通过所有测试的蒸馏通道成功传递知识，而拒绝后门的情况则截然相反。尽管后门教师能够实现几乎完美的触发拒绝，但经过序列蒸馏的学生几乎没有继承这种行为。基于Logit的蒸馏方法则能显著转移这一特性，学生在未见后门示例的情况下，触发拒绝率高达85.5%。因此，蒸馏过程是选择性的，其选择标准与学生所见数据无关，而与教师属性的结构有关。
🔬 方法详解
问题定义：本文旨在解决知识蒸馏过程中教师模型的非意图属性（如后门行为）如何影响学生模型的问题。现有方法未能有效区分不同属性的转移，可能导致安全隐患。
核心思路：论文的核心思路是通过比较不同教师属性在蒸馏过程中的存活情况，揭示蒸馏的选择性特征。特别是，研究基准知识与拒绝后门的转移差异，以此理解蒸馏过程中的信息选择机制。
技术框架：整体架构包括教师模型的训练、蒸馏通道的选择以及学生模型的训练。通过多种蒸馏通道（如序列蒸馏和Logit蒸馏）对比不同属性的转移效果。
关键创新：最重要的技术创新在于揭示了蒸馏过程的选择性，强调了教师属性的结构对转移效果的影响。这一发现与传统知识蒸馏方法的假设形成鲜明对比。
关键设计：在实验中，采用了多种蒸馏通道，并对教师模型进行了基准数据微调。损失函数设计上，特别关注了如何有效捕捉拒绝后门行为的特征，以实现高效的知识转移。实验中，Logit蒸馏方法表现出显著的性能提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于Logit的蒸馏方法能够在未见后门示例的情况下，实现学生模型触发拒绝率高达85.5%。这一结果显著高于传统蒸馏方法，表明蒸馏过程在不同教师属性间的选择性转移特征。
🎯 应用场景
该研究的潜在应用领域包括安全敏感的机器学习系统，如金融欺诈检测和网络安全。通过理解知识蒸馏中的选择性，可以更好地设计防御机制，避免模型被恶意操控。未来，该研究可能推动更安全的模型训练方法的发展，提升人工智能系统的可靠性。
📄 摘要（原文）
Knowledge distillation is widely used to transfer capabilities from teacher models to student models, but recent work shows that it can also transfer unintended teacher properties. We study whether different hidden teacher properties survive the same distillation channels. Specifically, we compare two properties: benchmark-associated knowledge and refusal backdoors, and show that distillation treats them very differently. Teachers fine-tuned on benchmark data successfully pass that knowledge to students through all four distillation channels we test, including when students are trained only on teacher-generated number sequences containing no natural language or domain content whatsoever. Refusal backdoors tell the opposite story: backdoored teachers achieve near-perfect triggered refusal, yet sequence-distilled students inherit essentially none of this behaviour. Logit-based distillation transfers it substantially, reaching up to 85.5\% triggered refusal in students that saw zero backdoor examples. Distillation is therefore selective, and the selection criterion is not what data the student sees, but what structure the teacher's property has. The code is available at https://github.com/MJonibek/kd-leakage.