SeqXGPT: Sentence-Level AI-Generated Text Detection

📄 arXiv: 2310.08903v2 📥 PDF

作者: Pengyu Wang, Linyang Li, Ke Ren, Botian Jiang, Dong Zhang, Xipeng Qiu

分类: cs.CL

发布日期: 2023-10-13 (更新: 2023-12-15)

备注: Accepted by EMNLP2023

💡 一句话要点

提出SeqXGPT以解决句子级AI生成文本检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI生成文本检测 句子级检测 对数概率特征 卷积网络 自注意力机制 内容审核 信息安全

📋 核心要点

  1. 现有方法主要集中在文档级AIGT检测，忽视了句子级的细粒度检测，导致检测效果不佳。
  2. 本文提出SeqXGPT，通过利用白盒LLMs的对数概率列表作为特征，构建句子级AIGT检测模型。
  3. 实验结果显示，SeqXGPT在句子和文档级检测中均显著优于传统方法，展现出良好的泛化能力。

📝 摘要（中文）

随着大型语言模型（LLMs）的广泛应用，生成类人内容的能力引发了对其滥用的担忧。因此，构建强大的AI生成文本（AIGT）检测器显得尤为重要。现有研究仅关注文档级AIGT检测，本文首次引入句子级检测挑战，通过合成包含人类和LLMs修改句子的文档数据集。我们提出SeqXGPT，一种利用白盒LLMs的对数概率列表作为句子级AIGT检测特征的新方法。实验结果表明，SeqXGPT在句子和文档级检测挑战中均显著超越基线方法，并展现出强大的泛化能力。

🔬 方法详解

问题定义：本文旨在解决句子级AI生成文本检测的挑战，现有方法在这一细分领域表现不佳，无法有效区分人类与LLMs生成的句子。

核心思路：SeqXGPT的核心思路是利用白盒LLMs生成的对数概率列表作为特征，这些特征在句子级别上表现出独特的波动特性，能够有效区分不同来源的文本。

技术框架：SeqXGPT的整体架构基于卷积网络和自注意力网络，主要模块包括特征提取、模型训练和句子级检测。特征提取阶段从LLMs获取对数概率列表，随后通过卷积和自注意力机制进行处理。

关键创新：SeqXGPT的主要创新在于将对数概率列表作为检测特征，这一方法在现有文档级检测中未被充分利用，显著提升了句子级检测的准确性。

关键设计：在设计中，采用了特定的卷积层和自注意力机制，以捕捉文本中的细微变化，损失函数则针对句子级别的分类任务进行了优化，确保模型在训练过程中的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SeqXGPT在句子级和文档级检测任务中均显著超越了基线方法，句子级检测准确率提升超过20%，展示了其强大的泛化能力和应用潜力。

🎯 应用场景

该研究的潜在应用领域包括内容审核、社交媒体监控和教育领域的文本真实性检测。随着AI生成内容的普及，准确检测其来源将对维护信息安全和真实性具有重要价值，未来可能推动相关技术的进一步发展与应用。

📄 摘要（原文）

Widely applied large language models (LLMs) can generate human-like content, raising concerns about the abuse of LLMs. Therefore, it is important to build strong AI-generated text (AIGT) detectors. Current works only consider document-level AIGT detection, therefore, in this paper, we first introduce a sentence-level detection challenge by synthesizing a dataset that contains documents that are polished with LLMs, that is, the documents contain sentences written by humans and sentences modified by LLMs. Then we propose \textbf{Seq}uence \textbf{X} (Check) \textbf{GPT}, a novel method that utilizes log probability lists from white-box LLMs as features for sentence-level AIGT detection. These features are composed like \textit{waves} in speech processing and cannot be studied by LLMs. Therefore, we build SeqXGPT based on convolution and self-attention networks. We test it in both sentence and document-level detection challenges. Experimental results show that previous methods struggle in solving sentence-level AIGT detection, while our method not only significantly surpasses baseline methods in both sentence and document-level detection challenges but also exhibits strong generalization capabilities.