Beyond Generation: Using Multimodal LLMs as Detectors of LLM-Generated Deepfake Facial Images
作者: Olivia Salamon, Virginia N. L. Franqueira, Shujun Li
分类: cs.CV, cs.ET
发布日期: 2026-10-15 (更新: 2026-10-16)
💡 一句话要点
利用多模态大语言模型检测深度伪造人脸图像
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度伪造 多模态大语言模型 图像取证 合成媒体 检测技术
📋 核心要点
- 随着图像生成技术的进步，传统的图像取证方法难以有效识别伪造内容。
- 本文提出利用多模态大语言模型作为取证分析工具，通过识别图像中的物理不一致性进行伪造检测。
- 实验结果显示，GPT-5.2在配对实验中达到97.9%的检测准确率，表明MLLMs在识别伪造图像方面具有潜力。
📝 摘要（中文）
随着图像生成模型的能力不断提升，传统的取证技术面临挑战。本文探讨了多模态大语言模型（MLLMs）在识别合成媒体方面的应用，旨在确定这些模型是通过识别物理不一致性还是依赖数字伪影（如嵌入水印）来检测伪造图像。研究基于400幅图像的数据集进行评估，结果显示，部分MLLMs在检测准确率上表现优异，GPT-5.2在配对实验中达到97.9%的峰值准确率。然而，自检测实验结果表明，隐形水印的存在导致检测准确率下降10%。这表明MLLMs能够在不依赖水印的情况下检测结构伪影，但不同模型的性能差异显著。
🔬 方法详解
问题定义：本文旨在解决传统取证技术在识别深度伪造图像时的不足，尤其是在面对高质量合成图像时的挑战。现有方法往往依赖于可见的数字伪影，难以适应新一代生成模型的输出。
核心思路：论文提出利用多模态大语言模型（MLLMs）进行图像伪造检测，核心在于通过识别图像中的物理不一致性，而非仅依赖于数字水印等可见特征。
技术框架：研究采用了三阶段的评估流程，包括单图像分类、成对比较和针对Gemini的自检测实验。通过对400幅图像的分析，评估不同模型的检测能力。
关键创新：最重要的创新在于展示了MLLMs能够在不依赖水印的情况下，通过识别结构性伪影来检测伪造图像，这与传统方法的依赖性形成鲜明对比。
关键设计：实验中使用了六种不同的MLLMs，并对其进行了基准测试，关键参数包括图像生成模型的选择和数据集的构建，确保了实验的全面性和准确性。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-5.2在成对比较实验中达到了97.9%的检测准确率，而整体平均准确率为82.5%。然而，自检测实验表明，隐形SynthID水印的存在导致Gemini的检测准确率下降了10%。这些结果强调了MLLMs在检测结构伪影方面的有效性及其性能的模型间差异。
🎯 应用场景
该研究的潜在应用领域包括网络安全、社交媒体内容审核以及法律取证等。通过有效识别深度伪造图像，能够帮助相关机构提高对虚假信息的防范能力，维护信息的真实性和可信度。未来，随着技术的进一步发展，MLLMs在图像取证中的应用将更加广泛，可能推动新的检测工具和标准的建立。
📄 摘要（原文）
As image generation models become increasingly capable of producing highly realistic content, traditional forensic techniques are struggling to keep up. This paper investigates whether MLLMs can instead be used as a form of forensic analysis by identifying synthetic media. Specifically, the study aims to determine whether these models detect fake images by recognising physical inconsistencies, or whether they rely on digital artefacts such as embedded watermarks. Six MLLMs (GPT-4o, GPT-5, GPT-5.2, Gemini 2.5, Gemini 3, and Seed 1.6) are benchmarked using a dataset of 400 images. Fifty images are authentic photographs, while the remaining 350 are generated using seven leading image models: Gemini 3, Gemini 2.5, Flux.2 Pro, GPT-Image-1, GPT-Image-1.5, Seedream 4.0, and Seedream 4.5. The evaluation is structured in three stages: single-image classification, pairwise comparison, and a focused "self-detection" experiment on Gemini. Several MLLMs achieved a high detection accuracy, with GPT-5.2 reaching a peak of 97.9% in the pairwise experiment, against specific generators and an overall mean pairwise accuracy of 82.5% by identifying structural or physical inconsistencies within images. However, results from the self-detection experiment indicate that the presence of invisible SynthID watermarks leads to a 10% reduction in Gemini's detection accuracy compared to the clean control group. One possible explanation is that SynthID embedding reduces some of the visible artefacts the models rely on for detection. These results imply that MLLMs can detect structural artefacts without relying on watermarks, but performance varies substantially across model generations. The findings also suggest that SynthID embedding may suppress some of the structural artefacts used during detection.