MLLM-Enhanced Face Forgery Detection: A Vision-Language Fusion Solution

📄 arXiv: 2505.02013v1 📥 PDF

作者: Siran Peng, Zipei Wang, Li Gao, Xiangyu Zhu, Tianshuo Zhang, Ajian Liu, Haoyuan Zhang, Zhen Lei

分类: cs.CV

发布日期: 2025-05-04

💡 一句话要点

提出VLF-FFD：一种MLLM增强的视觉-语言融合人脸伪造检测方案

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人脸伪造检测 多模态融合 视觉-语言模型 深度学习 可解释性 数据集增强 跨模态交互

📋 核心要点

  1. 现有方法在人脸伪造检测中，视觉和文本模态融合不足，导致检测性能受限。
  2. 提出VLF-FFD，通过视觉-语言融合网络VLF-Net，促进视觉和文本特征的双向交互。
  3. 构建EFF++数据集，包含伪造伪影和操纵技术的文本描述，提升MLLM训练效果。

📝 摘要（中文）

为了应对深度伪造驱动的虚假信息日益增长的威胁，可靠的人脸伪造检测算法至关重要。以往的研究表明，多模态大型语言模型（MLLM）在识别被操纵的人脸方面具有潜力。然而，现有方法通常依赖于大型语言模型（LLM）本身或外部检测器来生成分类结果，这往往导致视觉和文本模态的次优融合。本文提出了一种新颖的视觉-语言融合解决方案VLF-FFD，用于MLLM增强的人脸伪造检测。我们的主要贡献有两个方面。首先，我们提出了EFF++，它是广泛使用的FaceForensics++（FF++)数据集的帧级别、可解释性驱动的扩展。在EFF++中，每个被操纵的视频帧都与一个文本注释配对，该注释描述了伪造的伪影和所应用的特定操纵技术，从而能够进行更有效和信息丰富的MLLM训练。其次，我们设计了一个视觉-语言融合网络（VLF-Net），该网络促进视觉和文本特征之间的双向交互，并由一个三阶段训练流程支持，以充分利用其潜力。VLF-FFD在跨数据集和数据集内评估中均实现了最先进（SOTA）的性能，突显了其在人脸伪造检测方面的卓越有效性。

🔬 方法详解

问题定义：论文旨在解决人脸伪造检测问题，现有方法主要依赖LLM或外部检测器，视觉和文本信息融合不足，导致检测精度不高，泛化能力较差。

核心思路：论文的核心思路是设计一个视觉-语言融合网络（VLF-Net），通过双向交互机制，充分利用视觉和文本信息，从而提升人脸伪造检测的准确性和鲁棒性。同时，构建包含详细文本描述的EFF++数据集，以增强MLLM的训练效果。

技术框架：VLF-FFD的整体框架包含三个主要部分：1) EFF++数据集的构建，为每个伪造人脸图像提供详细的文本描述；2) VLF-Net网络的设计，用于视觉和文本特征的融合；3) 三阶段训练流程，包括预训练、对齐训练和融合训练，以充分利用VLF-Net的潜力。VLF-Net接收图像和文本作为输入，通过视觉编码器和文本编码器提取特征，然后通过跨模态交互模块进行融合，最后输出预测结果。

关键创新：论文的关键创新在于VLF-Net的双向交互机制，它允许视觉特征和文本特征相互影响和补充，从而更好地理解伪造人脸的特征。此外，EFF++数据集的构建也为MLLM的训练提供了更丰富的信息。

关键设计：VLF-Net包含视觉编码器（例如ResNet）、文本编码器（例如BERT）和跨模态交互模块。跨模态交互模块可能包含注意力机制，用于学习视觉和文本特征之间的关联。三阶段训练流程旨在逐步优化VLF-Net，首先预训练视觉和文本编码器，然后进行对齐训练以学习视觉和文本特征之间的映射关系，最后进行融合训练以优化整个网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VLF-FFD在跨数据集和数据集内评估中均取得了SOTA性能，表明其在人脸伪造检测方面的有效性。具体性能数据未知，但摘要强调了其在不同数据集上的优越表现，证明了其良好的泛化能力。

🎯 应用场景

该研究成果可应用于社交媒体平台、新闻媒体机构等，用于检测和识别深度伪造内容，从而减少虚假信息的传播，维护网络安全和信息安全。此外，该技术还可用于身份验证、安全监控等领域，具有广泛的应用前景。

📄 摘要（原文）

Reliable face forgery detection algorithms are crucial for countering the growing threat of deepfake-driven disinformation. Previous research has demonstrated the potential of Multimodal Large Language Models (MLLMs) in identifying manipulated faces. However, existing methods typically depend on either the Large Language Model (LLM) alone or an external detector to generate classification results, which often leads to sub-optimal integration of visual and textual modalities. In this paper, we propose VLF-FFD, a novel Vision-Language Fusion solution for MLLM-enhanced Face Forgery Detection. Our key contributions are twofold. First, we present EFF++, a frame-level, explainability-driven extension of the widely used FaceForensics++ (FF++) dataset. In EFF++, each manipulated video frame is paired with a textual annotation that describes both the forgery artifacts and the specific manipulation technique applied, enabling more effective and informative MLLM training. Second, we design a Vision-Language Fusion Network (VLF-Net) that promotes bidirectional interaction between visual and textual features, supported by a three-stage training pipeline to fully leverage its potential. VLF-FFD achieves state-of-the-art (SOTA) performance in both cross-dataset and intra-dataset evaluations, underscoring its exceptional effectiveness in face forgery detection.