Hide and Seek: Fingerprinting Large Language Models with Evolutionary Learning

📄 arXiv: 2408.02871v1 📥 PDF

作者: Dmitri Iourovitski, Sanat Sharma, Rakshak Talwar

分类: cs.CR, cs.AI

发布日期: 2024-08-06

💡 一句话要点

提出基于进化学习的“捉迷藏”方法，用于LLM指纹识别，模型家族识别准确率达72%。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM指纹识别 进化学习 黑盒攻击 模型溯源 AI安全

📋 核心要点

  1. 现有LLM内容识别方法不足，难以准确区分不同LLM家族，尤其是在黑盒场景下。
  2. 提出“捉迷藏”算法，利用审计员LLM生成提示，侦探LLM分析响应，迭代优化以识别LLM指纹。
  3. 实验表明，该方法在LLM家族识别中达到72%的准确率，揭示了不同模型家族的语义差异。

📝 摘要（中文）

随着大型语言模型（LLM）生成的内容呈指数级增长，准确识别和指纹识别此类文本的能力变得至关重要。本文提出了一种新颖的黑盒方法，用于LLM指纹识别，在识别LLM家族（如Llama、Mistral、Gemma等）方面取得了令人印象深刻的72%准确率。我们提出了一种进化策略，利用一个LLM的能力来发现识别其他LLM的最显著特征。我们的方法采用了一种独特的“捉迷藏”算法，其中审计员LLM生成区分性提示，侦探LLM分析响应以指纹识别目标模型。这种方法不仅证明了LLM驱动的模型识别的可行性，而且揭示了不同LLM家族的语义流形。通过上下文学习迭代地改进提示，我们的系统揭示了模型输出之间的细微差别，为LLM分析和验证提供了一个强大的工具。这项研究为理解LLM行为开辟了新途径，并对模型归属、安全和更广泛的AI透明度领域具有重要意义。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）内容识别和指纹识别的问题，尤其是在黑盒场景下准确区分不同LLM家族。现有方法在区分相似LLM或应对对抗性攻击时表现不足，缺乏鲁棒性和泛化能力。

核心思路：论文的核心思路是利用进化学习的思想，通过两个LLM之间的“捉迷藏”游戏来自动发现区分不同LLM的关键特征。一个LLM（审计员）负责生成具有区分性的提示，另一个LLM（侦探）负责分析目标LLM对这些提示的响应，从而进行指纹识别。这种方法模拟了自然选择的过程，通过迭代优化提示来提高识别准确率。

技术框架：整体框架包含两个主要模块：审计员LLM和侦探LLM。审计员LLM负责生成提示，其目标是最大化侦探LLM区分不同目标LLM的能力。侦探LLM接收目标LLM对提示的响应，并尝试识别目标LLM的家族。整个过程通过迭代进行，每一轮审计员LLM都会根据上一轮侦探LLM的表现来调整提示，从而不断优化提示的区分能力。

关键创新：最重要的创新点在于利用LLM自身的能力来发现区分其他LLM的关键特征，而不是依赖人工设计的特征或规则。这种方法能够自动适应不同LLM的特性，并发现隐藏在语义流形中的细微差别。此外，使用进化学习策略来迭代优化提示，进一步提高了识别的准确率和鲁棒性。

关键设计：审计员LLM使用上下文学习来生成提示，侦探LLM使用分类器来识别目标LLM家族。损失函数的设计旨在最大化侦探LLM的分类准确率，同时鼓励审计员LLM生成多样化的提示。具体的参数设置和网络结构等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，该方法在LLM家族识别中达到了72%的准确率，显著优于随机猜测。通过消融实验，验证了进化学习策略和“捉迷藏”算法的有效性。此外，该方法还揭示了不同LLM家族在语义流形上的差异，为LLM分析提供了新的视角。

🎯 应用场景

该研究成果可应用于LLM内容溯源、版权保护、安全检测等领域。通过识别LLM的指纹，可以追踪恶意内容的来源，防止虚假信息的传播，并评估LLM的安全性。此外，该方法还可以用于分析LLM的行为模式，从而更好地理解和控制LLM的生成过程。

📄 摘要（原文）

As content generated by Large Language Model (LLM) has grown exponentially, the ability to accurately identify and fingerprint such text has become increasingly crucial. In this work, we introduce a novel black-box approach for fingerprinting LLMs, achieving an impressive 72% accuracy in identifying the correct family of models (Such as Llama, Mistral, Gemma, etc) among a lineup of LLMs. We present an evolutionary strategy that leverages the capabilities of one LLM to discover the most salient features for identifying other LLMs. Our method employs a unique "Hide and Seek" algorithm, where an Auditor LLM generates discriminative prompts, and a Detective LLM analyzes the responses to fingerprint the target models. This approach not only demonstrates the feasibility of LLM-driven model identification but also reveals insights into the semantic manifolds of different LLM families. By iteratively refining prompts through in-context learning, our system uncovers subtle distinctions between model outputs, providing a powerful tool for LLM analysis and verification. This research opens new avenues for understanding LLM behavior and has significant implications for model attribution, security, and the broader field of AI transparency.