TruthLens:A Training-Free Paradigm for DeepFake Detection
作者: Ritabrata Chakraborty, Rajatsubhra Chakraborty, Ali Khaleghi Rahimian, Thomas MacDougall
分类: cs.CV, cs.AI
发布日期: 2025-03-19
💡 一句话要点
提出TruthLens，一种免训练的深度伪造检测框架，提升可解释性。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深度伪造检测 视觉问答 大型语言模型 可解释性 免训练
📋 核心要点
- 现有深度伪造检测方法缺乏可解释性，用户难以理解判别真伪的原因。
- TruthLens将深度伪造检测转化为视觉问答任务，利用大型视觉-语言模型和大型语言模型进行推理。
- TruthLens在准确率上超越传统方法，同时提供可解释的决策依据，增强用户信任。
📝 摘要（中文）
由先进AI模型生成的合成图像的激增，给识别和理解被篡改的视觉内容带来了重大挑战。现有的伪造图像检测方法主要依赖于二元分类模型，侧重于准确性，但常常忽略可解释性，导致用户无法清楚地了解图像被判定为真实或伪造的原因。为了弥合这一差距，我们引入了TruthLens，一种新颖的免训练框架，它将深度伪造检测重新构想为视觉问答（VQA）任务。TruthLens利用最先进的大型视觉-语言模型（LVLMs）来观察和描述视觉伪影，并结合GPT-4等大型语言模型（LLMs）的推理能力，将证据分析和聚合为明智的决策。通过采用多模态方法，TruthLens无缝地整合了视觉和语义推理，不仅可以将图像分类为真实或伪造，还可以为其决策提供可解释的解释。这种透明性增强了信任，并提供了对指示合成内容的伪影的宝贵见解。广泛的评估表明，TruthLens优于传统方法，在具有挑战性的数据集上实现了高精度，同时保持了对可解释性的强烈关注。通过将深度伪造检测重新定义为推理驱动的过程，TruthLens在打击合成媒体方面建立了一种新的范例，将最先进的性能与可解释性相结合，以应对日益增长的视觉虚假信息威胁。
🔬 方法详解
问题定义：当前深度伪造检测方法主要依赖二元分类，虽然追求高准确率，但缺乏可解释性。用户无法得知图像被判定为伪造的具体原因，这限制了用户对检测结果的信任，也难以发现和理解新的伪造技术。
核心思路：TruthLens的核心思路是将深度伪造检测问题转化为一个视觉问答（VQA）问题。通过利用大型视觉-语言模型（LVLMs）观察图像中的视觉伪影，并使用大型语言模型（LLMs）进行推理，从而判断图像的真伪，并给出可解释的理由。这种方法模拟了人类专家分析图像的过程，更易于理解和信任。
技术框架：TruthLens的整体框架包含以下几个主要阶段：1. 视觉观察：使用LVLMs观察输入图像，提取图像中的视觉特征和潜在的伪影。2. 问题生成：根据提取的视觉特征，生成一系列与图像真伪相关的视觉问题。3. 答案生成：使用LLMs对生成的问题进行回答，分析视觉伪影并给出判断依据。4. 决策聚合：将LLMs的回答进行聚合，最终判断图像的真伪，并提供可解释的理由。
关键创新：TruthLens最重要的创新在于其免训练的范式和将深度伪造检测转化为视觉问答任务的思路。与传统的需要大量训练数据的二元分类方法不同，TruthLens利用预训练的LVLMs和LLMs的强大能力，无需针对特定数据集进行训练，具有更好的泛化能力。同时，将检测问题转化为VQA问题，使得模型能够提供可解释的决策依据，增强了用户信任。
关键设计：TruthLens的关键设计在于如何有效地利用LVLMs和LLMs。具体来说，需要设计合适的问题模板，引导LLMs关注图像中的关键视觉伪影。同时，需要设计合理的决策聚合策略，将LLMs的多个回答进行综合分析，从而做出准确的判断。论文中可能还涉及一些prompt工程的细节，以优化LLMs的性能，但具体细节未知。
🖼️ 关键图片
📊 实验亮点
TruthLens在多个具有挑战性的数据集上取得了优异的性能，超越了传统的深度伪造检测方法。更重要的是，TruthLens能够提供可解释的决策依据，这使得用户能够理解模型判断图像真伪的原因，从而增强了用户对检测结果的信任。具体的性能数据和对比基线未知。
🎯 应用场景
TruthLens可应用于社交媒体平台、新闻媒体机构等，用于检测和识别深度伪造图像，防止虚假信息的传播。该研究的实际价值在于提高深度伪造检测的可解释性和用户信任度，从而更好地应对日益增长的视觉虚假信息威胁。未来，该方法可以扩展到视频领域，用于检测深度伪造视频。
📄 摘要（原文）
The proliferation of synthetic images generated by advanced AI models poses significant challenges in identifying and understanding manipulated visual content. Current fake image detection methods predominantly rely on binary classification models that focus on accuracy while often neglecting interpretability, leaving users without clear insights into why an image is deemed real or fake. To bridge this gap, we introduce TruthLens, a novel training-free framework that reimagines deepfake detection as a visual question-answering (VQA) task. TruthLens utilizes state-of-the-art large vision-language models (LVLMs) to observe and describe visual artifacts and combines this with the reasoning capabilities of large language models (LLMs) like GPT-4 to analyze and aggregate evidence into informed decisions. By adopting a multimodal approach, TruthLens seamlessly integrates visual and semantic reasoning to not only classify images as real or fake but also provide interpretable explanations for its decisions. This transparency enhances trust and provides valuable insights into the artifacts that signal synthetic content. Extensive evaluations demonstrate that TruthLens outperforms conventional methods, achieving high accuracy on challenging datasets while maintaining a strong emphasis on explainability. By reframing deepfake detection as a reasoning-driven process, TruthLens establishes a new paradigm in combating synthetic media, combining cutting-edge performance with interpretability to address the growing threats of visual disinformation.