Poster: A Preliminary Study of LLM Distillation Inference

📄 arXiv: 2610.12137v1 📥 PDF

作者: Edward Chen, Yuntao Du

分类: cs.CR, cs.LG

发布日期: 2026-10-08

备注: Accepted as a poster paper at the 2026 ACM SIGSAC Conference on Computer and Communications Security (CCS'26)

DOI: 10.1145/3830454.3846416

💡 一句话要点

提出蒸馏推理方法以检测模型蒸馏攻击

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型蒸馏 假设检验 影子模型 安全审计 大型语言模型

📋 核心要点

  1. 核心问题：现有方法在检测模型蒸馏攻击时存在准确性不足和假阳性率高的挑战。
  2. 方法要点：本文提出通过假设检验和影子模型来评估可疑模型是否经过蒸馏，从而提高检测的准确性。
  3. 实验或效果：在初步实验中，测试达到了1.0的真正阳性率，显示出该方法的有效性。

📝 摘要（中文）

未经授权的模型蒸馏，即在专有大型语言模型（LLM）输出上训练模型，正成为模型提供者面临的日益严重的威胁。本文研究了蒸馏推理，即确定可疑模型是从另一个模型蒸馏而来还是独立训练。我们将此问题形式化为假设检验，并通过训练影子模型来估计每个假设下的预期行为：蒸馏影子模型学习教师的推理痕迹，而独立影子模型仅学习参考答案。审计者测量每个模型预测教师推理输出的接近程度，然后使用影子模型将可疑模型的得分转换为校准的p值。在使用Qwen2.5-7B作为教师和Llama-3.2-3B作为可疑模型的初步研究中，我们的测试在0.02的显著性水平下达到了1.0的真正阳性率。这些结果证明了使用蒸馏推理检测蒸馏攻击的可行性。

🔬 方法详解

问题定义：本文旨在解决如何有效检测可疑模型是否经过蒸馏的问题。现有方法在准确性和假阳性率方面存在不足，难以区分独立训练与蒸馏模型。

核心思路：论文的核心思路是通过构建影子模型来模拟蒸馏和独立训练的过程，从而进行假设检验。影子模型的设计使得可以比较可疑模型与教师模型的输出，进而判断其来源。

技术框架：整体架构包括两个主要阶段：首先，训练蒸馏影子模型和独立影子模型；其次，审计者通过比较可疑模型与影子模型的输出，计算校准的p值来进行假设检验。

关键创新：最重要的技术创新在于引入影子模型的概念，通过学习教师模型的推理痕迹来提高检测的准确性。这种方法与传统的直接比较输出的方法本质上不同。

关键设计：在模型训练中，蒸馏影子模型使用教师模型的推理输出，而独立影子模型仅使用参考答案。损失函数的设计确保了模型能够有效学习到所需的信息。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，在使用Qwen2.5-7B作为教师模型和Llama-3.2-3B作为可疑模型的情况下，提出的方法在0.02的显著性水平下达到了1.0的真正阳性率，表明其在检测蒸馏攻击方面的高效性。

🎯 应用场景

该研究的潜在应用领域包括保护大型语言模型的知识产权，防止未经授权的模型蒸馏。同时，该方法可以用于安全审计和合规性检查，确保模型的合法性和安全性。未来，该技术可能在AI模型的安全防护中发挥重要作用。

📄 摘要（原文）

Unauthorized model distillation, in which a model is trained on the outputs of a proprietary large language model (LLM), is a growing threat to model providers. We study distillation inference: determining whether a suspect model was distilled from another model or trained independently. We formulate this problem as a hypothesis test and estimate the behavior expected under each hypothesis by training shadow models: distilled shadow models learn from the teacher's reasoning traces, whereas independent shadow models learn only from reference answers. The auditor measures how closely each model predicts the teacher's reasoning outputs and then uses the shadow models to convert the suspect's score into a calibrated p-value. In a preliminary study using Qwen2.5-7B as the teacher and Llama-3.2-3B for the suspects, our test achieves a true positive rate of 1.0 at a significance level of 0.02. These results demonstrate the feasibility of using distillation inference to detect distillation attacks.