Almost AI, Almost Human: The Challenge of Detecting AI-Polished Writing

📄 arXiv: 2502.15666v2 📥 PDF

作者: Shoumik Saha, Soheil Feizi

分类: cs.CL, cs.AI, cs.HC, cs.LG

发布日期: 2025-02-21 (更新: 2025-05-05)

备注: 18 pages, 18 figures, 6 tables

💡 一句话要点

评估AI润色文本检测的挑战：现有检测器易误判，且对模型存在偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI文本检测 AI润色文本 自然语言处理 文本生成 模型评估

📋 核心要点

  1. 现有AI文本检测器难以区分人类撰写后经AI润色的文本，容易将少量润色误判为完全由AI生成。
  2. 论文构建了包含不同AI参与程度润色的APT-Eval数据集，用于系统评估现有AI文本检测器的性能。
  3. 实验表明，现有检测器在区分不同程度AI润色方面表现不佳，且对模型大小和年代存在偏见。

📝 摘要（中文）

大型语言模型（LLMs）在文本生成领域的广泛应用引发了对AI生成内容检测的普遍关注。然而，一个被忽视的挑战是AI润色文本，即人类撰写的内容经过AI工具的细微润色。这引发了一个关键问题：是否应该将经过少量润色的文本归类为AI生成？这种分类可能导致错误的抄袭指控以及关于AI在在线内容中普遍存在的误导性说法。在本研究中，我们使用AI润色文本评估（APT-Eval）数据集系统地评估了十二种最先进的AI文本检测器，该数据集包含14.7K个在不同AI参与程度下润色的样本。我们的研究结果表明，检测器经常将即使是经过少量润色的文本标记为AI生成，难以区分不同程度的AI参与，并且对较旧和较小的模型表现出偏见。这些局限性凸显了对更细致的检测方法的需求。

🔬 方法详解

问题定义：论文旨在解决AI润色文本的检测问题。现有AI文本检测器主要针对完全由AI生成的文本，无法有效区分人类撰写后经过AI润色的文本，容易产生误判，导致不公正的抄袭指控和对AI内容比例的错误估计。现有方法缺乏对AI参与程度的细粒度区分能力。

核心思路：论文的核心思路是通过构建一个包含不同AI参与程度的润色文本数据集，系统地评估现有AI文本检测器在区分这些文本方面的能力。通过分析检测器在不同润色程度下的表现，揭示其局限性，并为未来更细致的检测方法提供指导。

技术框架：论文主要包含以下几个阶段：1) 构建AI润色文本评估数据集（APT-Eval），包含不同程度AI参与润色的文本样本。2) 选择12种最先进的AI文本检测器进行评估。3) 使用APT-Eval数据集对这些检测器进行测试，分析其在不同润色程度下的检测性能。4) 分析检测结果，揭示检测器的局限性和偏见。

关键创新：论文的关键创新在于：1) 提出了AI润色文本检测这一新的研究方向，关注AI在文本生成中更微妙的作用。2) 构建了APT-Eval数据集，为评估AI润色文本检测器提供了标准化的benchmark。3) 系统地评估了现有AI文本检测器在AI润色文本上的性能，揭示了其局限性和偏见。

关键设计：APT-Eval数据集包含14.7K个样本，涵盖不同程度的AI润色，例如仅进行语法纠错、进行少量改写、进行大幅度改写等。论文评估了12种最先进的AI文本检测器，包括基于Transformer的模型和基于统计特征的方法。实验中，论文分析了检测器在不同润色程度下的准确率、召回率和F1值，以及其对不同模型大小和年代的偏见。

📊 实验亮点

实验结果表明，现有AI文本检测器在AI润色文本上的表现不佳，即使是经过少量润色的文本也容易被误判为AI生成。检测器难以区分不同程度的AI参与，且对较旧和较小的模型存在偏见。例如，某些检测器在检测由较旧模型润色的文本时，准确率显著下降。

🎯 应用场景

该研究成果可应用于学术诚信检测、新闻真实性验证、社交媒体内容审核等领域。通过更准确地识别AI润色文本，可以减少错误的抄袭指控，防止虚假信息的传播，并提高在线内容的质量。未来的研究可以基于此，开发更鲁棒和细致的AI文本检测方法。

📄 摘要（原文）

The growing use of large language models (LLMs) for text generation has led to widespread concerns about AI-generated content detection. However, an overlooked challenge is AI-polished text, where human-written content undergoes subtle refinements using AI tools. This raises a critical question: should minimally polished text be classified as AI-generated? Such classification can lead to false plagiarism accusations and misleading claims about AI prevalence in online content. In this study, we systematically evaluate twelve state-of-the-art AI-text detectors using our AI-Polished-Text Evaluation (APT-Eval) dataset, which contains 14.7K samples refined at varying AI-involvement levels. Our findings reveal that detectors frequently flag even minimally polished text as AI-generated, struggle to differentiate between degrees of AI involvement, and exhibit biases against older and smaller models. These limitations highlight the urgent need for more nuanced detection methodologies.