DALD: Improving Logits-based Detector without Logits from Black-box LLMs

📄 arXiv: 2406.05232v4 📥 PDF

作者: Cong Zeng, Shengkun Tang, Xianjun Yang, Yuanzhou Chen, Yiyou Sun, zhiqiang xu, Yao Li, Haifeng Chen, Wei Cheng, Dongkuan Xu

分类: cs.CL, cs.LG

发布日期: 2024-06-07 (更新: 2024-10-27)

💡 一句话要点

DALD：无需源LLM logits，对齐分布提升黑盒LLM文本检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 黑盒检测 大型语言模型 分布对齐 文本生成检测 领域自适应

📋 核心要点

  1. 现有基于logits的检测方法在黑盒LLM场景下，因替代模型与未知目标模型分布不匹配而性能下降。
  2. DALD通过对齐替代模型与未知目标LLM的分布，提升黑盒文本检测能力，增强对模型迭代的鲁棒性。
  3. DALD利用公开的ChatGPT、GPT-4和Claude-3等模型的语料库样本，微调替代模型以适应未知源模型分布。

📝 摘要（中文）

大型语言模型（LLMs）的出现彻底改变了文本生成，其输出与人类写作非常相似。这种机器生成文本与人类生成文本之间界限的模糊，给区分两者带来了新的挑战，而领先的专有LLM的频繁更新和封闭性进一步加剧了这一任务的复杂性。传统的基于logits的检测方法利用替代模型来识别LLM生成的内容，但当无法从黑盒LLM获得确切的logits时，这些方法会遇到替代模型与通常未公开的目标模型之间的分布不匹配问题，从而导致性能下降，尤其是在引入新的闭源模型时。此外，虽然当前的方法通常在源模型已知时有效，但在模型版本未知或测试集包含来自各种源模型的输出时，它们会失效。为了解决这些限制，我们提出了分布对齐LLM检测（DALD），这是一个创新的框架，即使没有来自源LLM的logits，也能重新定义黑盒文本检测的最新性能。DALD旨在将替代模型的分布与未知目标LLM的分布对齐，确保增强的检测能力和抵抗快速模型迭代的能力，同时只需最少的训练投入。通过利用来自ChatGPT、GPT-4和Claude-3等高级模型的公开输出的语料库样本，DALD微调替代模型，以有效地与未知源模型分布同步。

🔬 方法详解

问题定义：论文旨在解决黑盒大型语言模型（LLM）生成文本的检测问题，尤其是在无法获取源LLM的logits信息，且目标LLM模型未知或不断更新的情况下。现有方法依赖于替代模型，但由于替代模型与真实目标LLM的分布差异，导致检测性能显著下降，尤其是在面对新型或未知的LLM时。

核心思路：DALD的核心思路是通过分布对齐，使得替代模型的输出分布尽可能接近未知目标LLM的输出分布。这样，即使没有目标LLM的logits信息，也能利用替代模型进行有效的文本检测。这种方法的核心在于缩小替代模型和目标模型之间的“领域差距”。

技术框架：DALD框架主要包含以下几个阶段：1) 数据收集：收集来自公开可用的LLM（如ChatGPT、GPT-4、Claude-3等）的文本数据，构建一个代表性的语料库。2) 替代模型训练：使用收集到的语料库，训练一个或多个替代模型。3) 分布对齐：通过特定的损失函数或训练策略，使得替代模型的输出分布与目标LLM的输出分布尽可能接近。4) 检测：使用训练好的替代模型进行文本检测，判断给定的文本是否由LLM生成。

关键创新：DALD的关键创新在于其分布对齐策略，它不需要访问目标LLM的logits信息，而是通过学习公开可用的LLM数据，来模拟目标LLM的输出分布。这种方法使得DALD能够有效地检测来自未知或新型LLM生成的文本，而无需针对每个LLM进行单独训练。与现有方法相比，DALD更具通用性和鲁棒性。

关键设计：DALD的关键设计包括：1) 使用多样化的LLM数据构建语料库，以覆盖尽可能多的LLM输出风格。2) 选择合适的替代模型架构，例如Transformer模型，以捕捉文本的复杂特征。3) 设计有效的分布对齐损失函数，例如对抗损失或最大均值差异（MMD），以缩小替代模型和目标模型之间的分布差距。4) 采用合适的训练策略，例如迁移学习或领域自适应，以加速模型的收敛和提高泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DALD在黑盒LLM文本检测任务上取得了显著的性能提升，即使没有源LLM的logits信息。通过与现有基线方法对比，DALD在检测未知LLM生成文本时表现出更强的鲁棒性和泛化能力，具体性能提升幅度在不同数据集和模型设置下有所不同，但总体上优于现有技术。

🎯 应用场景

DALD可应用于内容安全、学术诚信、信息溯源等领域。例如，检测虚假新闻、识别代写论文、判断社交媒体上的机器人账号等。该研究有助于维护网络空间的健康生态，提高信息的可信度，并为未来的LLM检测技术发展提供借鉴。

📄 摘要（原文）

The advent of Large Language Models (LLMs) has revolutionized text generation, producing outputs that closely mimic human writing. This blurring of lines between machine- and human-written text presents new challenges in distinguishing one from the other a task further complicated by the frequent updates and closed nature of leading proprietary LLMs. Traditional logits-based detection methods leverage surrogate models for identifying LLM-generated content when the exact logits are unavailable from black-box LLMs. However, these methods grapple with the misalignment between the distributions of the surrogate and the often undisclosed target models, leading to performance degradation, particularly with the introduction of new, closed-source models. Furthermore, while current methodologies are generally effective when the source model is identified, they falter in scenarios where the model version remains unknown, or the test set comprises outputs from various source models. To address these limitations, we present Distribution-Aligned LLMs Detection (DALD), an innovative framework that redefines the state-of-the-art performance in black-box text detection even without logits from source LLMs. DALD is designed to align the surrogate model's distribution with that of unknown target LLMs, ensuring enhanced detection capability and resilience against rapid model iterations with minimal training investment. By leveraging corpus samples from publicly accessible outputs of advanced models such as ChatGPT, GPT-4 and Claude-3, DALD fine-tunes surrogate models to synchronize with unknown source model distributions effectively.