The 20 questions game to distinguish large language models

📄 arXiv: 2409.10338v1 📥 PDF

作者: Gurvan Richardeau, Erwan Le Merrer, Camilla Penzo, Gilles Tredan

分类: cs.CL, cs.AI

发布日期: 2024-09-16

💡 一句话要点

提出基于“20问”游戏的LLM判别方法，用于检测模型泄露

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 模型判别 模型泄露检测 黑盒测试 20问游戏

📋 核心要点

  1. 现有方法难以在黑盒场景下高效判别大型语言模型是否相同，尤其是在模型泄露检测中。
  2. 该方法借鉴“20问”游戏，通过精心设计的二元问题序列，快速区分不同的LLM。
  3. 实验表明，该方法仅需少量问题即可达到高准确率，且具有良好的隐蔽性。

📝 摘要（中文）

本文提出了一种类似于“20问”游戏的方法，用于判断两个黑盒环境中的大型语言模型（LLM）是否相同。目标是使用少量（良性）的二元问题，通常少于20个。我们形式化了这个问题，并首先使用已知基准数据集中的随机选择问题建立基线，在20个问题内实现了接近100%的准确率。在展示了该问题的最优界限后，我们引入了两种有效的提问启发式方法，能够在相同任务中使用一半的问题来区分22个LLM。这些方法在隐蔽性方面具有显著优势，因此对于面临模型泄露怀疑的审计人员或版权所有者具有重要意义。

🔬 方法详解

问题定义：论文旨在解决在黑盒场景下，如何高效且隐蔽地判断两个大型语言模型（LLM）是否为同一模型的问题。现有方法通常需要大量的交互或访问模型内部参数，这在实际应用中往往不可行，尤其是在版权保护和模型泄露检测等场景下。因此，需要一种仅通过少量外部交互即可完成模型判别的技术手段。

核心思路：论文的核心思路是借鉴经典的“20问”游戏。通过提出一系列精心设计的二元问题，根据LLM的回答来逐步缩小模型范围，最终判断两个LLM是否相同。这种方法只需要少量的外部交互，并且可以通过设计问题的形式来提高隐蔽性。

技术框架：该方法主要包含以下几个阶段：1) 问题选择：从预定义的二元问题集中选择问题。2) 模型提问：将问题输入到待判别的LLM中，获取其回答。3) 结果分析：根据LLM的回答，更新模型相似度概率分布。4) 判别：当模型相似度概率分布达到预设阈值时，输出判别结果。整个过程迭代进行，直到达到最大提问次数或得到明确的判别结果。

关键创新：该方法最重要的技术创新点在于提出了两种有效的提问启发式方法，用于指导问题的选择。这两种启发式方法能够显著减少所需的提问次数，同时保持较高的判别准确率。与随机选择问题的方法相比，这两种启发式方法能够更快地收敛到正确的判别结果。

关键设计：论文提出了两种提问启发式方法。具体细节未知，摘要中提到这两种方法能够使用一半的问题来区分22个LLM，表明其在问题选择策略上进行了优化，以最大化每次提问所能提供的信息量。此外，论文还形式化了该问题，并分析了最优界限，为提问策略的设计提供了理论指导。

📊 实验亮点

该研究通过实验验证了所提出方法的有效性。结果表明，使用随机选择问题作为基线，在20个问题内可以达到接近100%的准确率。更重要的是，通过引入两种有效的提问启发式方法，可以在相同任务中使用一半的问题来区分22个LLM，显著提高了判别效率，并增强了隐蔽性。

🎯 应用场景

该研究成果可应用于大型语言模型的版权保护、模型泄露检测、模型审计等领域。例如，版权所有者可以使用该方法来检测未经授权的模型复制品，审计人员可以使用该方法来评估模型的安全性，开发者可以使用该方法来验证模型的唯一性。该方法具有良好的隐蔽性和高效性，有望成为LLM安全领域的重要工具。

📄 摘要（原文）

In a parallel with the 20 questions game, we present a method to determine whether two large language models (LLMs), placed in a black-box context, are the same or not. The goal is to use a small set of (benign) binary questions, typically under 20. We formalize the problem and first establish a baseline using a random selection of questions from known benchmark datasets, achieving an accuracy of nearly 100% within 20 questions. After showing optimal bounds for this problem, we introduce two effective questioning heuristics able to discriminate 22 LLMs by using half as many questions for the same task. These methods offer significant advantages in terms of stealth and are thus of interest to auditors or copyright owners facing suspicions of model leaks.