Distillation Defenses Easily Break After Reinforcement Learning
作者: Shidan Javaheri, Alexander Panfilov, Oliver Britton, Yarin Gal, Yonatan Gideoni
分类: cs.LG, cs.AI, cs.CR
发布日期: 2026-09-28
💡 一句话要点
提出强化学习后蒸馏攻击的新威胁模型
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 蒸馏攻击 强化学习 模型安全 推理能力 防御机制
📋 核心要点
- 现有的蒸馏攻击防御方法通常假设攻击者不会在蒸馏后进一步训练模型，导致安全评估不够全面。
- 论文提出了一种新的威胁模型，考虑在蒸馏后使用强化学习进行进一步训练，从而提高攻击效果。
- 实验结果表明，简单的攻击可以有效窃取现有封闭源语言模型的推理能力，且部分防御措施在此情况下失效。
📝 摘要（中文）
蒸馏攻击通过复制封闭源大型语言模型的推理能力，使攻击者能够以低成本复现最先进的性能。现有的蒸馏攻击防御通常在蒸馏后立即评估，假设攻击者不会进一步训练其模型。本文提出了一种更现实的威胁模型，考虑在蒸馏后使用强化学习进行进一步训练。研究表明，任何泄露足够信息以重建近似推理轨迹的蒸馏防御都可能无效。最后，讨论了批量级蒸馏防御的更广泛影响及其潜在有效性。
🔬 方法详解
问题定义：本文旨在解决现有蒸馏攻击防御方法在假设攻击者不进行后续训练时的局限性，强调了强化学习在蒸馏攻击中的重要性。
核心思路：论文的核心思路是提出一种更现实的威胁模型，允许攻击者在蒸馏后使用强化学习进一步训练其模型，从而提升攻击效果。
技术框架：整体架构包括数据收集、蒸馏过程和后续的强化学习训练。主要模块包括蒸馏模型的构建、推理轨迹的提取和强化学习的实施。
关键创新：最重要的技术创新在于识别并验证了在蒸馏后使用强化学习的攻击策略，这与现有方法的假设存在本质区别。
关键设计：关键设计包括对蒸馏模型的训练过程进行优化，确保在强化学习阶段能够有效利用从API获取的数据，提升推理能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，简单的蒸馏攻击能够有效窃取封闭源语言模型的推理能力，且在强化学习后，部分现有防御措施失效。具体性能提升幅度未明确，但研究指出任何泄露足够信息的防御都可能无效。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、模型安全性评估和AI系统的防御机制设计。通过识别蒸馏攻击的新威胁模型，研究为开发更强大的防御策略提供了理论基础，具有重要的实际价值和未来影响。
📄 摘要（原文）
Distillation attacks copy the reasoning capabilities of closed-source large language models, allowing bad actors to replicate state-of-the-art performance at low cost. Attackers systematically collect a large volume of frontier model reasoning traces and then train (i.e., "distill") their own models on these traces. Existing defenses against distillation attacks are typically evaluated immediately after distillation, implicitly assuming attackers do not train their models any further. In this paper, we argue that a more realistic threat model includes further training with reinforcement learning after distillation. A misspecified threat model can give a false sense of security -- some defenses that seem effective after distillation can be broken after subsequent reinforcement learning. Practically, reinforcement learning lowers the bar for a distillation attack to be effective. We show that simple attacks can steal reasoning capabilities from existing closed-source language models using data easily obtainable from current APIs, yielding reasoning improvements equivalent to more sophisticated attacks that extract the full hidden traces. Results indicate that any distillation defense that leaks sufficient information to reconstruct approximate reasoning traces is likely ineffective. We conclude by discussing broader implications and batch-level distillation defenses which could be more effective.