You've Changed: Detecting Modification of Black-Box Large Language Models

📄 arXiv: 2504.12335v1 📥 PDF

作者: Alden Dima, James Foulds, Shimei Pan, Philip Feldman

分类: cs.CL, cs.AI

发布日期: 2025-04-14

备注: 26 pages, 4 figures

💡 一句话要点

提出一种基于文本特征分布比较的黑盒大语言模型修改检测方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 黑盒模型 模型监控 行为检测 文本特征 统计检验 提示注入攻击

📋 核心要点

  1. 现有方法难以有效检测黑盒LLM的行为变化，因为无法直接访问模型内部参数。
  2. 该方法通过比较LLM生成文本的语言和心理语言特征分布，利用统计检验判断模型是否发生变化。
  3. 实验证明，该方法能有效区分不同的LLM，并可用于检测提示注入攻击，降低了监控成本。

📝 摘要（中文）

大型语言模型（LLM）通常以API形式提供服务，这使得开发者难以检测其行为变化。本文提出了一种通过比较生成文本的语言和心理语言特征分布来监控LLM变化的方法。该方法使用统计检验来确定两个文本样本的特征分布是否等价，从而使开发者能够识别LLM何时发生了变化。我们使用五个OpenAI补全模型和Meta的Llama 3 70B聊天模型验证了该方法的有效性。结果表明，简单的文本特征与统计检验相结合可以区分不同的语言模型。我们还探索了使用该方法来检测提示注入攻击。这项工作实现了频繁的LLM变更监控，并避免了计算成本高昂的基准评估。

🔬 方法详解

问题定义：论文旨在解决黑盒大语言模型（LLM）修改检测的问题。由于LLM通常以API形式提供，开发者无法直接访问模型参数，因此难以察觉模型行为的细微变化。现有的基准测试方法计算成本高昂，不适用于频繁监控。

核心思路：核心思路是通过分析LLM生成文本的统计特征来推断模型的变化。如果LLM的行为发生改变，那么其生成文本的语言和心理语言特征的分布也会相应改变。通过比较不同时间段或不同版本的LLM生成文本的特征分布，可以检测到模型的修改。

技术框架：该方法主要包含以下几个步骤：1) 收集LLM生成的文本样本；2) 提取文本的语言和心理语言特征，例如词汇多样性、句法复杂度、情感倾向等；3) 使用统计检验（如Kolmogorov-Smirnov检验）比较不同样本的特征分布；4) 根据检验结果判断LLM是否发生了变化。

关键创新：该方法的关键创新在于利用文本特征分布的变化来推断黑盒LLM的行为变化，避免了直接访问模型参数的需求。与传统的基准测试方法相比，该方法计算成本更低，更适用于频繁监控。此外，该方法还探索了利用特征分布变化来检测提示注入攻击的可能性。

关键设计：论文中使用了多种语言和心理语言特征，例如平均词长、句子长度、词汇多样性、情感极性等。统计检验方面，选择了Kolmogorov-Smirnov检验来比较两个样本的特征分布。具体的参数设置和阈值选择可能需要根据实际应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够有效区分不同的OpenAI补全模型和Meta的Llama 3 70B聊天模型。通过比较生成文本的特征分布，该方法能够检测到LLM的细微变化。此外，实验还验证了该方法在检测提示注入攻击方面的潜力，为LLM安全监控提供了一种新的思路。

🎯 应用场景

该研究成果可应用于LLM服务的持续监控，帮助开发者及时发现模型行为的异常变化，例如性能下降、安全性漏洞等。此外，该方法还可用于检测针对LLM的对抗性攻击，例如提示注入攻击，从而提高LLM服务的安全性和可靠性。该技术还有助于确保LLM在不同版本迭代中的行为一致性，维护用户体验。

📄 摘要（原文）

Large Language Models (LLMs) are often provided as a service via an API, making it challenging for developers to detect changes in their behavior. We present an approach to monitor LLMs for changes by comparing the distributions of linguistic and psycholinguistic features of generated text. Our method uses a statistical test to determine whether the distributions of features from two samples of text are equivalent, allowing developers to identify when an LLM has changed. We demonstrate the effectiveness of our approach using five OpenAI completion models and Meta's Llama 3 70B chat model. Our results show that simple text features coupled with a statistical test can distinguish between language models. We also explore the use of our approach to detect prompt injection attacks. Our work enables frequent LLM change monitoring and avoids computationally expensive benchmark evaluations.