Beyond Generation: Using Multimodal LLMs as Detectors of LLM-Generated Deepfake Facial Images
作者: Olivia Salamon, Virginia N. L. Franqueira, Shujun Li
分类: cs.CV, cs.ET
发布日期: 2026-10-15
💡 一句话要点
利用多模态LLM检测深度伪造人脸图像
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度伪造 多模态大语言模型 图像取证 合成媒体 物理不一致性 数字伪影 检测准确性
📋 核心要点
- 随着图像生成技术的进步，传统的图像取证方法难以有效识别伪造内容。
- 本文提出利用多模态大语言模型（MLLMs）作为取证分析工具，识别合成媒体中的物理不一致性。
- 实验结果显示，GPT-5.2在对比实验中达到了97.9%的准确率，表明MLLMs在检测伪造图像方面具有潜力。
📝 摘要（中文）
随着图像生成模型的能力日益增强，传统的取证技术面临挑战。本文探讨了多模态大语言模型（MLLMs）在识别合成媒体方面的应用，旨在判断这些模型是通过识别物理不一致性还是依赖数字伪影（如嵌入水印）来检测伪造图像。研究评估了六种MLLMs在400幅图像上的表现，其中350幅为生成图像。实验结果显示，GPT-5.2在对比实验中达到了97.9%的检测准确率，表明MLLMs能够在不依赖水印的情况下检测结构伪影，但不同模型的性能差异显著。
🔬 方法详解
问题定义：本文旨在解决传统取证技术在识别高质量伪造图像时的不足，尤其是如何有效区分真实与合成图像。现有方法往往依赖于可见的数字伪影，难以适应不断提升的生成模型技术。
核心思路：论文的核心思路是利用多模态大语言模型（MLLMs）进行图像分析，识别图像中的物理不一致性，而不仅仅依赖于数字水印等可见特征。通过这种方式，模型能够更全面地理解图像内容，从而提高检测准确性。
技术框架：研究采用了三阶段的评估流程，包括单图像分类、成对比较和针对Gemini的“自我检测”实验。通过对比真实与合成图像，评估MLLMs的检测能力。
关键创新：最重要的技术创新在于将MLLMs应用于图像伪造检测，尤其是通过识别结构性伪影而非依赖水印。这一方法与传统的取证技术形成鲜明对比，提供了新的思路。
关键设计：实验中使用了六种不同的MLLMs，并在400幅图像上进行评估。关键参数包括图像生成模型的选择和评估标准，损失函数的设计也针对检测准确性进行了优化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-5.2在成对比较实验中达到了97.9%的检测准确率，整体平均成对准确率为82.5%。然而，Gemini在自我检测实验中由于SynthID水印的存在，检测准确率下降了10%。这些结果表明，MLLMs在检测结构伪影方面表现出色，但水印的嵌入可能会影响其性能。
🎯 应用场景
该研究的潜在应用领域包括网络安全、社交媒体内容审核和法律取证等。通过提高对深度伪造图像的检测能力，可以有效防止虚假信息的传播，保护公众利益。未来，随着技术的进一步发展，该方法有望在更广泛的场景中得到应用。
📄 摘要（原文）
As image generation models become increasingly capable of producing highly realistic content, traditional forensic techniques are struggling to keep up. This paper investigates whether MLLMs can instead be used as a form of forensic analysis by identifying synthetic media. Specifically, the study aims to determine whether these models detect fake images by recognising physical inconsistencies, or whether they rely on digital artefacts such as embedded watermarks.Six MLLMs: GPT-4o, GPT-5, GPT-5.2, Gemini 2.5, Gemini 3, and Seed 1.6, are benchmarked using a dataset of 400 images. Fifty images are authentic photographs, while the remaining 350 are generated using seven leading image models: Gemini 3, Gemini 2.5, Flux.2 Pro, GPT-Image-1, GPT-Image-1.5, Seedream 4.0, and Seedream 4.5. The evaluation is structured in three stages: single-image classification, pairwise comparison, and a focused "self-detection" experiment on Gemini. Several MLLMs achieved a high detection accuracy, with GPT-5.2 reaching a peak of 97.9% in the pairwise experiment, against specific generators and an overall mean pairwise accuracy of 82.5% by identifying structural or physical inconsistencies within images. However, results from the self-detection experiment indicate that the presence of invisible SynthID watermarks leads to a 10% reduction in Gemini's detection accuracy compared to the clean control group. One possible explanation is that SynthID embedding reduces some of the visible artefacts the models rely on for detection.These results imply that MLLMs can detect structural artefacts without relying on watermarks, but performance varies substantially across model generations. The findings from comparison C5 also suggest that SynthID embedding may suppress some of the structural artefacts used during detection.