Cascading Adversarial Bias from Injection to Distillation in Language Models
作者: Harsh Chaudhari, Jamie Hayes, Matthew Jagielski, Ilia Shumailov, Milad Nasr, Alina Oprea
分类: cs.LG, cs.CR
发布日期: 2025-05-30 (更新: 2025-10-05)
💡 一句话要点
揭示语言模型蒸馏中对抗性偏见注入与传递的脆弱性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 语言模型 模型蒸馏 对抗性攻击 数据投毒 偏见传播
📋 核心要点
- 现有语言模型蒸馏技术在提升效率的同时，忽略了对抗性偏见注入带来的安全风险。
- 通过数据投毒在教师模型中注入细微偏见，并观察其在学生模型中的传播和放大效应。
- 实验表明，即使少量中毒样本也能显著影响学生模型的行为，且现有防御措施效果不佳。
📝 摘要（中文）
模型蒸馏已成为创建更小、可部署且保留大型系统能力的语言模型的关键。然而，广泛部署引发了对抗性操纵的担忧。本文研究了蒸馏模型在训练期间对抗性注入偏见内容的脆弱性。我们证明了攻击者可以通过最小的数据投毒将微妙的偏见注入到教师模型中，这种偏见会传播到学生模型并被显著放大。我们提出了两种传播模式：非目标传播，偏见影响多个任务；目标传播，专注于特定任务，同时保持其他任务的正常行为。仅使用25个中毒样本（0.25%的中毒率），在目标场景中，学生模型产生偏见响应的概率高达76.9%，高于教师模型的69.4%。对于非目标传播，学生模型在未见任务中出现对抗性偏见的频率是教师模型的6到29倍。我们在六种偏见类型（目标广告、网络钓鱼链接、叙事操纵、不安全编码实践）、各种蒸馏方法以及跨越文本和代码生成的不同模态中验证了这些发现。我们的评估揭示了当前防御措施（困惑度过滤、偏见检测系统和基于LLM的自动评估框架）在对抗这些攻击方面的不足。结果揭示了蒸馏模型中存在的重大安全漏洞，突出了对专门安全措施的需求。我们提出了构建有效对抗性偏见缓解策略的实用设计原则。
🔬 方法详解
问题定义：本文旨在研究语言模型蒸馏过程中，对抗性偏见从教师模型传递到学生模型的问题。现有方法在关注模型压缩和性能的同时，忽略了对抗性攻击可能引入的偏见，以及这些偏见在蒸馏过程中的传播和放大效应。这种忽略可能导致部署的蒸馏模型在特定任务上表现出不期望的偏见行为，从而影响其可靠性和公平性。
核心思路：核心思路是通过在教师模型的训练数据中注入少量的对抗性样本，引入细微的偏见。然后，通过蒸馏过程，将这些偏见传递到学生模型。通过控制注入偏见的类型和数量，研究人员可以观察偏见在不同蒸馏方法中的传播程度和放大效应。这种方法允许研究人员量化蒸馏模型对抗对抗性偏见的脆弱性。
技术框架：整体框架包括以下几个阶段：1) 教师模型训练：使用包含少量对抗性样本的数据集训练教师模型。2) 蒸馏训练：使用教师模型的输出作为软标签，训练学生模型。3) 偏见评估：设计特定的评估指标，用于衡量学生模型在目标任务上的偏见程度。4) 防御评估：评估现有防御方法（如困惑度过滤、偏见检测系统）在减轻对抗性偏见方面的效果。该框架允许研究人员系统地研究对抗性偏见在蒸馏过程中的传播和放大，并评估现有防御措施的有效性。
关键创新：最重要的创新在于揭示了对抗性偏见在语言模型蒸馏过程中的传递和放大效应。与以往关注模型性能和压缩的研究不同，本文关注的是安全性问题，特别是对抗性攻击可能引入的偏见。此外，本文还提出了两种偏见传播模式：非目标传播和目标传播，并针对不同类型的偏见进行了实验验证。
关键设计：关键设计包括：1) 对抗性样本的生成：精心设计对抗性样本，以引入特定的偏见，同时保持样本的流畅性和自然性。2) 蒸馏方法的选择：选择多种不同的蒸馏方法，以研究不同方法对偏见传播的影响。3) 偏见评估指标的设计：设计能够准确衡量模型在目标任务上的偏见程度的评估指标。4) 中毒率的控制：通过控制中毒样本的比例，研究偏见传播与中毒率之间的关系。
🖼️ 关键图片
📊 实验亮点
实验结果表明，仅使用0.25%的中毒率，学生模型在目标场景中产生偏见响应的概率高达76.9%，高于教师模型的69.4%。在非目标传播中，学生模型在未见任务中出现对抗性偏见的频率是教师模型的6到29倍。同时，现有防御措施（困惑度过滤、偏见检测系统）在减轻对抗性偏见方面的效果不佳。
🎯 应用场景
该研究成果可应用于评估和提升语言模型蒸馏的安全性，尤其是在对公平性和可靠性有较高要求的场景，如金融风控、医疗诊断、法律咨询等。通过了解对抗性偏见的传播机制，可以设计更有效的防御策略，保障蒸馏模型的安全部署。
📄 摘要（原文）
Model distillation has become essential for creating smaller, deployable language models that retain larger system capabilities. However, widespread deployment raises concerns about resilience to adversarial manipulation. This paper investigates vulnerability of distilled models to adversarial injection of biased content during training. We demonstrate that adversaries can inject subtle biases into teacher models through minimal data poisoning, which propagates to student models and becomes significantly amplified. We propose two propagation modes: Untargeted Propagation, where bias affects multiple tasks, and Targeted Propagation, focusing on specific tasks while maintaining normal behavior elsewhere. With only 25 poisoned samples (0.25% poisoning rate), student models generate biased responses 76.9% of the time in targeted scenarios - higher than 69.4% in teacher models. For untargeted propagation, adversarial bias appears 6x-29x more frequently in student models on unseen tasks. We validate findings across six bias types (targeted advertisements, phishing links, narrative manipulations, insecure coding practices), various distillation methods, and different modalities spanning text and code generation. Our evaluation reveals shortcomings in current defenses - perplexity filtering, bias detection systems, and LLM-based autorater frameworks - against these attacks. Results expose significant security vulnerabilities in distilled models, highlighting need for specialized safeguards. We propose practical design principles for building effective adversarial bias mitigation strategies.