Could AI Trace and Explain the Origins of AI-Generated Images and Text?

📄 arXiv: 2504.04279v2 📥 PDF

作者: Hongchao Fang, Yixin Liu, Jiangshu Du, Can Qin, Ran Xu, Feng Liu, Lichao Sun, Dongwon Lee, Lifu Huang, Wenpeng Yin

分类: cs.CL

发布日期: 2025-04-05 (更新: 2025-04-10)

💡 一句话要点

提出AI-FAKER数据集，用于追踪和解释AI生成图像和文本的来源模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI生成内容溯源 多模态数据集 AI作者身份检测 大型语言模型 大型多模态模型 AI-FAKER GPT-4o 恶意内容检测

📋 核心要点

  1. 现有方法缺乏对AI生成内容来源的系统性、细粒度追踪和解释，尤其是在区分通用和恶意用例方面。
  2. 论文提出AI-FAKER数据集，旨在提供一个全面的多模态基准，用于评估AI模型追踪和解释AI生成内容来源的能力。
  3. 实验表明，AI作者身份检测受模型训练意图影响，GPT-4o对OpenAI模型生成内容的解释具有一致性但缺乏具体性。

📝 摘要（中文）

AI生成内容在现实世界中日益普及，引发了严重的伦理和社会问题。例如，攻击者可能利用大型多模态模型（LMM）创建违反伦理或法律标准的图像，而论文审稿人可能滥用大型语言模型（LLM）生成缺乏真正学术努力的评论。虽然之前的工作已经探索了检测AI生成的图像和文本，并偶尔追溯其源模型，但缺乏系统和细粒度的比较研究。诸如AI生成图像与文本、完全与部分AI生成图像以及通用与恶意用例等重要维度仍未得到充分探索。此外，像GPT-4o这样的AI系统是否能够解释为什么某些伪造内容归因于特定的生成模型仍然是一个悬而未决的问题，并且没有现有的基准来解决这个问题。为了填补这一空白，我们引入了AI-FAKER，这是一个全面的多模态数据集，包含超过280,000个样本，涵盖多个LLM和LMM，覆盖了AI生成图像和文本的通用和恶意用例。我们的实验揭示了两个关键发现：（i）AI作者身份检测不仅取决于生成的输出，还取决于模型的原始训练意图；（ii）GPT-4o在分析OpenAI自身模型（如DALL-E和GPT-4o本身）生成的内容时，提供了高度一致但不太具体的解释。

🔬 方法详解

问题定义：当前缺乏一个全面的基准数据集，用于评估AI模型追踪和解释AI生成图像和文本来源的能力，尤其是在区分通用和恶意用例，以及区分完全AI生成和部分AI生成内容方面。现有方法在细粒度比较研究方面存在不足，无法深入理解AI生成内容溯源的内在机制。

核心思路：构建一个包含多种LLM和LMM生成内容的多模态数据集，涵盖通用和恶意用例，并利用该数据集评估现有AI模型（如GPT-4o）在追踪和解释AI生成内容来源方面的能力。通过分析模型的解释结果，揭示AI作者身份检测的内在影响因素。

技术框架：AI-FAKER数据集包含超过280,000个样本，涵盖多种LLM和LMM生成的图像和文本。数据集的构建流程包括：选择代表性的LLM和LMM，设计通用和恶意用例，生成相应的图像和文本内容，并对生成的内容进行标注。评估流程包括：使用AI模型（如GPT-4o）分析数据集中的样本，并评估其追踪和解释AI生成内容来源的准确性和一致性。

关键创新：AI-FAKER数据集是首个全面覆盖AI生成图像和文本，并区分通用和恶意用例的多模态数据集。该数据集的构建和评估流程为AI生成内容溯源研究提供了一个标准化的基准。研究结果揭示了AI作者身份检测不仅取决于生成的内容，还取决于模型的原始训练意图。

关键设计：数据集涵盖了多种LLM和LMM，包括OpenAI的GPT系列和DALL-E，以及其他开源和商业模型。通用用例包括生成日常对话和图像，恶意用例包括生成虚假新闻和恶意图像。数据集的标注包括生成模型的名称、生成内容的类型（图像或文本）、用例类型（通用或恶意）等信息。评估指标包括追踪准确率、解释一致性和解释具体性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AI作者身份检测不仅取决于生成的输出，还取决于模型的原始训练意图。GPT-4o在分析OpenAI自身模型生成的内容时，提供了高度一致但不太具体的解释。AI-FAKER数据集为AI生成内容溯源研究提供了一个全面的基准，并揭示了现有AI模型在追踪和解释AI生成内容来源方面的局限性。

🎯 应用场景

该研究成果可应用于检测和溯源AI生成的不良内容，例如虚假新闻、恶意图像等，从而维护网络安全和社会稳定。此外，该研究还可以帮助提高AI生成内容的可信度和透明度，促进AI技术的健康发展。该数据集和评估方法为未来AI生成内容溯源研究提供了基础。

📄 摘要（原文）

AI-generated content is becoming increasingly prevalent in the real world, leading to serious ethical and societal concerns. For instance, adversaries might exploit large multimodal models (LMMs) to create images that violate ethical or legal standards, while paper reviewers may misuse large language models (LLMs) to generate reviews without genuine intellectual effort. While prior work has explored detecting AI-generated images and texts, and occasionally tracing their source models, there is a lack of a systematic and fine-grained comparative study. Important dimensions--such as AI-generated images vs. text, fully vs. partially AI-generated images, and general vs. malicious use cases--remain underexplored. Furthermore, whether AI systems like GPT-4o can explain why certain forged content is attributed to specific generative models is still an open question, with no existing benchmark addressing this. To fill this gap, we introduce AI-FAKER, a comprehensive multimodal dataset with over 280,000 samples spanning multiple LLMs and LMMs, covering both general and malicious use cases for AI-generated images and texts. Our experiments reveal two key findings: (i) AI authorship detection depends not only on the generated output but also on the model's original training intent; and (ii) GPT-4o provides highly consistent but less specific explanations when analyzing content produced by OpenAI's own models, such as DALL-E and GPT-4o itself.