The Challenge of Identifying the Origin of Black-Box Large Language Models

📄 arXiv: 2503.04332v1 📥 PDF

作者: Ziqing Yang, Yixin Wu, Yun Shen, Wei Dai, Michael Backes, Yang Zhang

分类: cs.CR, cs.LG

发布日期: 2025-03-06

💡 一句话要点

提出PlugAE：一种主动追踪黑盒大语言模型来源的技术

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型溯源 黑盒模型 对抗性token嵌入 主动水印 知识产权保护

📋 核心要点

  1. 现有黑盒大语言模型溯源方法在实际应用中存在局限性，难以有效识别微调后的模型。
  2. 论文提出PlugAE方法，通过优化对抗性token嵌入并主动注入到LLM中，实现来源追踪。
  3. 实验结果表明，PlugAE在识别微调后的LLM方面显著优于现有方法，提升了溯源准确性。

📝 摘要（中文）

大型语言模型（LLM）的巨大商业潜力引发了对其未经授权使用的担忧。第三方可以通过微调定制LLM，并仅提供黑盒API访问，从而有效地隐藏未经授权的使用并使外部审计过程复杂化。这种做法不仅加剧了不正当竞争，还违反了许可协议。为了解决这个问题，识别黑盒LLM的来源是一个根本性的解决方案。本文首先通过对30个LLM和两个真实黑盒API的实验，揭示了现有被动和主动识别方法的局限性。然后，我们提出了一种主动技术PlugAE，它在连续空间中优化对抗性token嵌入，并主动将其插入LLM中进行追踪和识别。实验表明，PlugAE在识别微调衍生物方面取得了显著的改进。我们进一步倡导建立法律框架和规章，以更好地应对LLM未经授权使用所带来的挑战。

🔬 方法详解

问题定义：论文旨在解决黑盒大语言模型（LLM）的来源识别问题。现有方法，包括被动水印和主动注入，在面对微调后的模型时，识别准确率显著下降。这是因为微调过程会改变模型的参数分布，从而削弱水印或注入token的效果。因此，如何设计一种对微调具有鲁棒性的溯源方法是本研究的核心问题。

核心思路：PlugAE的核心思路是主动地将优化的对抗性token嵌入注入到LLM中，并在模型的输出中检测这些嵌入的存在。通过优化嵌入，使其在经过微调后仍然能够被可靠地检测到，从而实现对模型来源的追踪。这种方法的核心在于找到一种在连续空间中表示对抗性token嵌入的方式，并设计相应的优化目标，使其对微调具有一定的抵抗能力。

技术框架：PlugAE的技术框架主要包含以下几个阶段：1) 对抗性token嵌入生成：利用自编码器（AE）在连续空间中生成对抗性token嵌入。2) 嵌入注入：将生成的对抗性token嵌入注入到目标LLM的输入中。3) 输出检测：分析LLM的输出，检测是否存在与注入的对抗性token嵌入相关的模式。4) 来源识别：根据检测到的模式，判断LLM的来源。

关键创新：PlugAE的关键创新在于使用自编码器在连续空间中优化对抗性token嵌入。与直接在离散token空间中选择token相比，连续空间的优化可以更好地控制嵌入的属性，并使其对微调具有更强的鲁棒性。此外，PlugAE采用主动注入的方式，可以更有效地控制注入token的影响，并提高检测的准确率。

关键设计：PlugAE的关键设计包括：1) 自编码器结构：自编码器的设计需要平衡嵌入的表达能力和对微调的鲁棒性。2) 损失函数：损失函数的设计需要考虑如何最大化注入token的影响，并最小化对模型性能的干扰。3) 注入策略：注入策略需要考虑如何选择注入的位置和频率，以最大化检测的准确率，并最小化对模型输出的影响。4) 检测方法：检测方法需要考虑如何有效地检测注入的对抗性token嵌入，并区分其与正常输出的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PlugAE在识别微调后的LLM方面取得了显著的提升。与现有的被动水印和主动注入方法相比，PlugAE在保持较高识别准确率的同时，对模型的性能影响较小。具体而言，PlugAE在多个数据集上实现了超过10%的识别准确率提升，并且在某些情况下，甚至可以达到接近完美的识别效果。

🎯 应用场景

PlugAE技术可应用于保护大型语言模型的知识产权，防止未经授权的复制、分发和商业使用。通过追踪模型的来源，可以有效打击盗版行为，维护公平竞争的市场环境。此外，该技术还可用于审计模型的合规性，确保其符合相关的法律法规和伦理规范。未来，PlugAE有望成为LLM安全领域的重要组成部分。

📄 摘要（原文）

The tremendous commercial potential of large language models (LLMs) has heightened concerns about their unauthorized use. Third parties can customize LLMs through fine-tuning and offer only black-box API access, effectively concealing unauthorized usage and complicating external auditing processes. This practice not only exacerbates unfair competition, but also violates licensing agreements. In response, identifying the origin of black-box LLMs is an intrinsic solution to this issue. In this paper, we first reveal the limitations of state-of-the-art passive and proactive identification methods with experiments on 30 LLMs and two real-world black-box APIs. Then, we propose the proactive technique, PlugAE, which optimizes adversarial token embeddings in a continuous space and proactively plugs them into the LLM for tracing and identification. The experiments show that PlugAE can achieve substantial improvement in identifying fine-tuned derivatives. We further advocate for legal frameworks and regulations to better address the challenges posed by the unauthorized use of LLMs.