Look Before You Judge: Training-Free Region Mining for Grounded and Explainable Deepfake Detection

📄 arXiv: 2609.35536v1 📥 PDF

作者: Chia-Ling Chen, Yu-Ting Ta, Jian-Yu Jiang-Lin, Tai-Ming Huang, Ling Lo, Po-Ching Chen, Yan-Tsung Wang, Pei-Heng Li, Ling Zou, Hong-Han Shuai, Wen-Huang Cheng

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出无训练区域挖掘框架以解决可解释深伪检测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深伪检测 可解释人工智能 多模态学习 视觉注意力 无训练方法 法医分析 图像处理

📋 核心要点

  1. 现有的深伪检测方法在解释模型判决时，往往缺乏与视觉证据的有效结合，导致解释不够可靠。
  2. 本文提出了一种无训练的区域挖掘框架，通过对比原始图像与高斯模糊图像的视觉注意力，识别图像特定的证据区域。
  3. 在TriDF和MMTD-Set数据集上，实验结果显示该框架提高了检测准确率达12.8%，并显著降低了CHAIR和幻觉率。

📝 摘要（中文）

多模态大型语言模型（MLLMs）能够用自然语言解释深伪判决，但这些解释不一定与预测所依据的视觉证据相一致。现有的基础方法通过解码或注意力干预增强视觉依赖性，但通常是针对整个图像，难以处理细微、空间局部且依赖于图像的法医伪影。本文提出了“Look Before You Judge”，一个无训练的框架，将可解释的深伪检测视为一个顺序证据获取过程。该框架首先通过对比MLLM的解码器与视觉注意力，识别图像特定的候选证据区域，随后对这些区域进行单独检查，并将局部证据与全局图像上下文结合，最终得出判决。该框架无需操作掩膜、外部法医模型或参数更新，直接适用于现成的MLLMs。实验结果显示，该框架在五个开源MLLMs上提高了检测准确率，减少了CHAIR和幻觉率。

🔬 方法详解

问题定义：本文旨在解决现有深伪检测方法在解释模型判决时缺乏视觉证据支持的问题。现有方法通常增强整个图像的视觉依赖性，难以处理细微且局部的法医伪影。

核心思路：本文提出的框架“Look Before You Judge”通过对比分析原始图像与其高斯模糊版本的视觉注意力，识别出图像特定的候选证据区域，从而实现更为精准的深伪检测。

技术框架：该框架分为两个主要阶段：第一阶段是通过对比解码器与视觉注意力，识别候选证据区域；第二阶段是对这些区域进行单独检查，并将局部证据与全局上下文结合，最终得出判决。

关键创新：该框架的创新在于其无训练的特性，能够直接应用于现成的多模态大型语言模型，而不需要额外的参数更新或外部法医模型。

关键设计：在设计上，该框架不依赖于操作掩膜，采用对比分析的方法来识别证据区域，确保了方法的灵活性和适用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的框架在五个开源多模态大型语言模型上显著提高了检测准确率，最高提升达12.8%。同时，CHAIR指标降低了33.4%，幻觉率降低了21.3%，优于现有的无训练解码和注意力方法。

🎯 应用场景

该研究在深伪检测领域具有广泛的应用潜力，尤其是在社交媒体、新闻传播和法律取证等场景中。通过提供可解释的检测结果，能够增强用户对深伪内容的识别能力，提升信息的可信度和安全性。未来，该框架还可以扩展到其他视觉分析任务中，推动可解释人工智能的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) can explain deepfake verdicts in natural language, but such explanations are not necessarily visually grounded in the visual evidence underlying the prediction. A model may describe plausible artifacts inferred from language priors rather than from image evidence. Existing grounding methods improve visual reliance through decoding or attention interventions, but they generally strengthen grounding over the entire image, making them ill-suited for forensic artifacts that are subtle, spatially localized, and image-dependent. We propose Look Before You Judge, a training-free framework that formulates explainable deepfake detection as a sequential evidence acquisition process. Instead of directly predicting image authenticity from holistic visual reasoning, our framework first identifies image-specific candidate evidence regions by contrasting the MLLM's decoder-to-visual attention between an original image and its Gaussian-blurred counterpart. The identified regions are then inspected individually, and the resulting local evidence is integrated with the global image context before reaching a final verdict. The framework operates without manipulation masks, external forensic models, or parameter updates, making it directly applicable to off-the-shelf MLLMs. Across five open-source MLLMs on TriDF and MMTD-Set, our framework improves detection accuracy by up to 12.8%, reduces CHAIR by up to 33.4% and hallucination rate by up to 21.3%, and outperforms representative training-free decoding and attention methods.