LLM Detectors Still Fall Short of Real World: Case of LLM-Generated Short News-Like Posts

📄 arXiv: 2409.03291v2 📥 PDF

作者: Henrique Da Silva Gameiro, Andrei Kucharavy, Ljiljana Dolamic

分类: cs.CL, cs.AI, cs.CR, cs.LG

发布日期: 2024-09-05 (更新: 2024-09-27)

备注: 20 pages, 7 tables, 13 figures, under consideration for EMNLP

🔗 代码/项目: GITHUB

💡 一句话要点

揭示LLM检测器在识别LLM生成的新闻短文方面存在不足，并提出动态可扩展的评测基准。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LLM检测器 虚假信息检测 基准测试 对抗攻击 零样本学习

📋 核心要点

  1. 现有LLM检测器在识别LLM生成的新闻短文时表现不佳，尤其是在面对简单的采样温度攻击时，表明现有基准测试存在局限性。
  2. 论文提出需要重新审视LLM检测器的基准测试方法，强调领域特定性和对抗性规避能力与泛化能力的平衡。
  3. 论文提供了一个动态可扩展的基准测试，旨在促进更全面和真实的LLM检测器评估，并开源了相关代码。

📝 摘要（中文）

随着强大的大型语言模型（LLM）的广泛应用，由LLM生成的不实信息已成为一个主要关注点。长期以来，LLM检测器一直被认为是解决方案，但它们在现实世界中的有效性仍有待验证。本文着重关注信息操作中的一个重要场景——由具有一定水平的攻击者生成的类似新闻的短文。我们证明，现有的LLM检测器，无论是零样本还是专门训练的，都尚未准备好在实际场景中使用。所有测试的零样本检测器与之前的基准测试表现不一致，并且极易受到采样温度升高这一简单攻击的影响，而最近的基准测试中并没有这种攻击。可以开发一种能够跨LLM和未见攻击进行泛化的专用训练检测器，但它无法泛化到新的人工撰写的文本。我们认为，前者表明需要特定领域的基准测试，而后者表明对抗性规避弹性和过度拟合参考人工文本之间存在权衡，这两者都需要在基准测试中进行评估，而目前尚不存在。我们认为这表明需要重新考虑当前的LLM检测器基准测试方法，并提供一个动态可扩展的基准来允许这样做（https://github.com/Reliable-Information-Lab-HEVS/benchmark_llm_texts_detection）。

🔬 方法详解

问题定义：论文旨在解决LLM检测器在实际场景中，特别是识别LLM生成的新闻短文时，表现不佳的问题。现有方法的痛点在于，它们在特定基准测试上表现良好，但在面对简单的攻击（如调整采样温度）时，鲁棒性较差，并且难以泛化到真实的人工撰写文本。

核心思路：论文的核心思路是，现有的LLM检测器基准测试方法存在缺陷，需要更加关注领域特定性、对抗性规避能力以及泛化能力。通过构建一个动态可扩展的基准测试，可以更全面地评估LLM检测器的性能，并促进更鲁棒的检测器的开发。

技术框架：论文主要通过实验评估现有LLM检测器的性能，并分析其不足之处。技术框架包括：1) 选择现有的零样本和专用训练的LLM检测器；2) 使用LLM生成新闻短文，并进行简单的攻击（如调整采样温度）；3) 评估检测器在不同条件下的性能；4) 分析检测器的优缺点，并提出改进建议。

关键创新：论文的关键创新在于：1) 揭示了现有LLM检测器在实际场景中的不足；2) 强调了领域特定性和对抗性规避能力的重要性；3) 提出了一个动态可扩展的基准测试，旨在促进更全面和真实的LLM检测器评估。

关键设计：论文的关键设计在于构建了一个动态可扩展的基准测试，该基准测试可以根据需要添加新的LLM、新的攻击方法和新的评估指标。此外，论文还强调了对抗性规避能力和泛化能力之间的权衡，并建议在基准测试中同时评估这两者。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的零样本LLM检测器在面对简单的采样温度攻击时表现不佳，与之前的基准测试结果不一致。专门训练的检测器虽然可以跨LLM和未见攻击进行泛化，但无法泛化到新的人工撰写文本。这些结果表明，现有的LLM检测器尚未准备好在实际场景中使用。

🎯 应用场景

该研究成果可应用于信息安全领域，帮助识别和过滤由LLM生成的不实信息，维护网络空间的健康。该研究提出的动态可扩展基准测试，可以促进更鲁棒的LLM检测器的开发，从而提高网络信息安全水平，减少虚假信息传播带来的负面影响。

📄 摘要（原文）

With the emergence of widely available powerful LLMs, disinformation generated by large Language Models (LLMs) has become a major concern. Historically, LLM detectors have been touted as a solution, but their effectiveness in the real world is still to be proven. In this paper, we focus on an important setting in information operations -- short news-like posts generated by moderately sophisticated attackers. We demonstrate that existing LLM detectors, whether zero-shot or purpose-trained, are not ready for real-world use in that setting. All tested zero-shot detectors perform inconsistently with prior benchmarks and are highly vulnerable to sampling temperature increase, a trivial attack absent from recent benchmarks. A purpose-trained detector generalizing across LLMs and unseen attacks can be developed, but it fails to generalize to new human-written texts. We argue that the former indicates domain-specific benchmarking is needed, while the latter suggests a trade-off between the adversarial evasion resilience and overfitting to the reference human text, with both needing evaluation in benchmarks and currently absent. We believe this suggests a re-consideration of current LLM detector benchmarking approaches and provides a dynamically extensible benchmark to allow it (https://github.com/Reliable-Information-Lab-HEVS/benchmark_llm_texts_detection).