IPAD: Inverse Prompt for AI Detection - A Robust and Interpretable LLM-Generated Text Detector

📄 arXiv: 2502.15902v3 📥 PDF

作者: Zheng Chen, Yushi Feng, Jisheng Dang, Yue Deng, Changyang He, Hongxi Pu, Haoxuan Li, Bo Li

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-02-21 (更新: 2025-11-18)

💡 一句话要点

提出IPAD：一种鲁棒且可解释的LLM生成文本检测器，解决现有检测器泛化性差的问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI文本检测 反向提示 可解释性 鲁棒性 分布外泛化 对抗攻击 自然语言处理

📋 核心要点

  1. 现有AI文本检测器在分布外数据和对抗攻击下鲁棒性差，且缺乏可解释性，难以满足实际应用需求。
  2. IPAD框架通过反向提示生成潜在的生成提示，并利用区分器评估文本与提示的一致性，从而进行AI检测。
  3. 实验表明，IPAD在同分布、分布外和对抗攻击数据上均优于现有方法，并提供可解释的决策依据。

📝 摘要（中文）

大型语言模型（LLM）在文本生成方面已经达到了人类水平的流畅度，这使得区分人类撰写的文本和LLM生成的文本变得复杂。这增加了滥用的风险，并突出了对可靠检测器的需求。然而，现有的检测器在分布外（OOD）数据和对抗攻击数据上表现出较差的鲁棒性，这对于实际场景至关重要。此外，它们难以提供可解释的证据来支持其决策，从而损害了可靠性。鉴于这些挑战，我们提出了IPAD（AI检测的反向提示），这是一个新颖的框架，由一个提示反演器（Prompt Inverter）组成，该反演器识别可能生成输入文本的预测提示，以及两个区分器（Distinguishers），它们检查输入文本与预测提示对齐的概率。经验评估表明，IPAD在同分布数据上的平均召回率比最强的基线高9.05%，在分布外数据上的AUROC高12.93%，在对抗攻击数据上的AUROC高5.48%。IPAD在结构化数据集上也表现出强大的鲁棒性。此外，进行了解释性评估，以说明IPAD通过允许用户直接检查决策证据来增强AI检测的可信度，这为其最先进的检测结果提供了可解释的支持。

🔬 方法详解

问题定义：现有AI生成文本检测器在实际应用中面临鲁棒性和可解释性两大挑战。具体而言，它们在面对分布外数据（OOD）和对抗攻击时性能显著下降，并且缺乏提供决策依据的能力，难以让用户信任其检测结果。

核心思路：IPAD的核心思路是，如果一段文本是由AI生成的，那么应该能够推断出生成这段文本的“提示”。通过比较原始文本和推断出的提示之间的一致性，可以判断文本是否为AI生成。这种方法模拟了人类判断AI生成内容的方式，即思考“AI会用什么样的方式来写这段话”。

技术框架：IPAD框架包含两个主要模块：Prompt Inverter（提示反演器）和Distinguishers（区分器）。Prompt Inverter负责根据输入的文本预测可能的生成提示。Distinguishers则负责评估输入文本与预测提示之间的一致性，输出文本为AI生成的概率。整个流程是先用Prompt Inverter生成提示，然后用Distinguishers进行判别。

关键创新：IPAD的关键创新在于其“反向提示”的思想。与直接训练一个分类器来区分人类文本和AI文本不同，IPAD尝试还原生成过程，通过分析生成过程的合理性来判断文本的真伪。这种方法更接近人类的认知方式，因此具有更好的鲁棒性和可解释性。

关键设计：Prompt Inverter可以使用各种文本生成模型，例如T5或GPT系列模型，并进行微调以适应反向提示的任务。Distinguishers可以使用预训练语言模型，例如BERT或RoBERTa，并进行微调以区分文本和提示之间的一致性。损失函数的设计需要考虑Prompt Inverter的生成质量和Distinguishers的判别能力。具体参数设置和网络结构的选择需要根据具体数据集和任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

IPAD在同分布数据上的平均召回率比最强的基线高9.05%，在分布外数据上的AUROC高12.93%，在对抗攻击数据上的AUROC高5.48%。这些结果表明，IPAD在鲁棒性和准确性方面均优于现有方法。此外，IPAD还提供了可解释的决策依据，增强了用户对AI检测结果的信任。

🎯 应用场景

IPAD可应用于内容审核、学术诚信检测、新闻真实性验证等领域。它可以帮助识别和过滤AI生成的虚假信息、抄袭内容和恶意攻击，维护网络安全和信息生态。未来，IPAD可以与其他安全技术结合，构建更强大的AI防御体系。

📄 摘要（原文）

Large Language Models (LLMs) have attained human-level fluency in text generation, which complicates the distinguishing between human-written and LLM-generated texts. This increases the risk of misuse and highlights the need for reliable detectors. Yet, existing detectors exhibit poor robustness on out-of-distribution (OOD) data and attacked data, which is critical for real-world scenarios. Also, they struggle to provide interpretable evidence to support their decisions, thus undermining the reliability. In light of these challenges, we propose IPAD (Inverse Prompt for AI Detection), a novel framework consisting of a Prompt Inverter that identifies predicted prompts that could have generated the input text, and two Distinguishers that examine the probability that the input texts align with the predicted prompts. Empirical evaluations demonstrate that IPAD outperforms the strongest baselines by 9.05% (Average Recall) on in-distribution data, 12.93% (AUROC) on out-of-distribution data, and 5.48% (AUROC) on attacked data. IPAD also performs robustly on structured datasets. Furthermore, an interpretability assessment is conducted to illustrate that IPAD enhances the AI detection trustworthiness by allowing users to directly examine the decision-making evidence, which provides interpretable support for its state-of-the-art detection results.