Imitate Before Detect: Aligning Machine Stylistic Preference for Machine-Revised Text Detection

📄 arXiv: 2412.10432v2 📥 PDF

作者: Jiaqi Chen, Xiaoye Zhu, Tianyang Liu, Ying Chen, Xinhui Chen, Yiwen Yuan, Chak Tou Leong, Zuchao Li, Tang Long, Lei Zhang, Chenyu Yan, Guanghao Mei, Jie Zhang, Lefei Zhang

分类: cs.CL, cs.AI, cs.CR

发布日期: 2024-12-11 (更新: 2024-12-22)

备注: To appear at AAAI 2025. 14 pages, 6 figure

💡 一句话要点

提出Imitate Before Detect方法，提升机器润色文本的检测性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器润色文本检测 风格偏好优化 条件概率曲率 大型语言模型 文本生成检测

📋 核心要点

  1. 现有方法在检测纯机器生成文本表现良好，但难以区分机器润色文本中隐藏的机器风格，这是当前检测任务的核心挑战。
  2. Imitate Before Detect方法通过模仿机器风格的token分布，并与待测文本的分布进行比较，从而判断文本是否经过机器润色。
  3. 实验结果表明，该方法在检测开源LLM润色文本时AUC提升13%，检测GPT-3.5和GPT-4o润色文本时性能分别提升5%和19%。

📝 摘要（中文）

大型语言模型（LLMs）的快速发展使得检测机器生成文本变得越来越困难。虽然现有方法在检测纯机器生成文本方面表现良好，但在区分机器润色文本（重写、扩展和润色）方面效果不佳，因为这些文本可能只与其原始人工提示略有不同。由于文本内容可能源于人工提示，检测机器润色文本通常涉及识别独特的机器风格，例如LLMs偏爱的措辞。然而，现有方法难以检测隐藏在人工贡献内容中的机器风格短语。我们提出了“Imitate Before Detect”（ImBD）方法，该方法首先模仿机器风格的token分布，然后将待测文本的分布与机器风格分布进行比较，以确定文本是否经过机器润色。为此，我们引入了风格偏好优化（SPO），它将评分LLM模型与机器生成的文本风格偏好对齐。然后，对齐的评分模型用于计算风格条件概率曲率（Style-CPC），量化原始文本和条件采样文本之间的对数概率差异，以实现有效的检测。我们在各种场景下进行了广泛的比较，包括六个LLM的文本修改、四个不同的文本领域和三种机器修改类型。与现有的最先进方法相比，我们的方法在检测开源LLM修改的文本时，AUC提高了13%，在检测GPT-3.5和GPT-4o修改的文本时，性能分别提高了5%和19%。值得注意的是，我们的方法仅使用1000个样本和5分钟的SPO就超过了商业训练的GPT-Zero，证明了其效率和有效性。

🔬 方法详解

问题定义：论文旨在解决机器润色文本检测的难题。现有方法在检测纯机器生成文本时表现尚可，但对于经过LLM润色的文本，由于其内容可能源于人工提示，机器风格隐藏在人工内容中，导致现有检测方法性能显著下降。现有方法难以有效捕捉和识别这些细微的机器风格特征。

核心思路：论文的核心思路是“模仿后再检测”（Imitate Before Detect）。首先，通过学习机器生成文本的风格偏好，构建一个机器风格的token分布模型。然后，将待检测文本的token分布与学习到的机器风格分布进行比较，从而判断待检测文本是否经过机器润色。这种方法的核心在于将机器风格作为一种可学习的分布进行建模，从而更容易检测隐藏在人工内容中的机器风格。

技术框架：ImBD方法主要包含两个阶段：1) 风格偏好优化（SPO）：使用一个评分LLM模型，通过优化使其与机器生成的文本风格偏好对齐。具体来说，通过少量样本学习机器润色文本的风格，让评分模型能够区分机器风格和人工风格。2) 风格条件概率曲率（Style-CPC）计算：使用对齐后的评分模型，计算待检测文本在原始状态和条件采样状态下的对数概率差异，即Style-CPC。Style-CPC用于量化文本中机器风格的强度，从而判断文本是否经过机器润色。

关键创新：该方法最重要的创新点在于提出了“模仿后再检测”的框架，以及风格偏好优化（SPO）策略。与现有方法直接检测文本特征不同，ImBD方法首先学习机器风格的分布，然后基于该分布进行检测，从而更有效地捕捉隐藏的机器风格。SPO策略使得评分模型能够更好地学习和区分机器风格，提高了检测的准确性。

关键设计：风格偏好优化（SPO）使用对比学习损失，鼓励评分模型对机器风格的文本给出更高的分数，对人工风格的文本给出更低的分数。风格条件概率曲率（Style-CPC）的计算涉及对待检测文本进行条件采样，生成具有不同风格的变体，然后比较原始文本和变体的对数概率差异。具体参数设置（如学习率、采样策略等）可能在论文中有更详细的描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ImBD方法在检测机器润色文本方面显著优于现有方法。在检测开源LLM润色文本时，AUC提高了13%。在检测GPT-3.5和GPT-4o润色文本时，性能分别提高了5%和19%。更重要的是，该方法仅使用1000个样本和5分钟的SPO训练，就超过了商业训练的GPT-Zero，证明了其高效性和有效性。

🎯 应用场景

该研究成果可应用于内容安全领域，例如检测虚假新闻、学术欺诈等。通过识别机器润色文本，可以帮助人们区分人工撰写和机器生成的文本，提高信息的可信度。此外，该技术还可以应用于教育领域，辅助教师识别学生作业中是否存在机器代写的情况。未来，该技术有望进一步发展，应用于更广泛的文本检测和内容审核场景。

📄 摘要（原文）

Large Language Models (LLMs) have revolutionized text generation, making detecting machine-generated text increasingly challenging. Although past methods have achieved good performance on detecting pure machine-generated text, those detectors have poor performance on distinguishing machine-revised text (rewriting, expansion, and polishing), which can have only minor changes from its original human prompt. As the content of text may originate from human prompts, detecting machine-revised text often involves identifying distinctive machine styles, e.g., worded favored by LLMs. However, existing methods struggle to detect machine-style phrasing hidden within the content contributed by humans. We propose the "Imitate Before Detect" (ImBD) approach, which first imitates the machine-style token distribution, and then compares the distribution of the text to be tested with the machine-style distribution to determine whether the text has been machine-revised. To this end, we introduce style preference optimization (SPO), which aligns a scoring LLM model to the preference of text styles generated by machines. The aligned scoring model is then used to calculate the style-conditional probability curvature (Style-CPC), quantifying the log probability difference between the original and conditionally sampled texts for effective detection. We conduct extensive comparisons across various scenarios, encompassing text revisions by six LLMs, four distinct text domains, and three machine revision types. Compared to existing state-of-the-art methods, our method yields a 13% increase in AUC for detecting text revised by open-source LLMs, and improves performance by 5% and 19% for detecting GPT-3.5 and GPT-4o revised text, respectively. Notably, our method surpasses the commercially trained GPT-Zero with just $1,000$ samples and five minutes of SPO, demonstrating its efficiency and effectiveness.