DBCF: Dual-Branch Complementary Fusion of Foundation Models for Generalized Deepfake Detection
作者: Fengming Gu, Mingjie He, Zonghui Guo, Jie Zhangb, Shiguang Shan
分类: cs.CV
发布日期: 2026-09-28
💡 一句话要点
提出双分支互补融合模型以解决深伪检测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 深伪检测 多模态融合 基础模型 特征融合 计算机视觉
📋 核心要点
- 现有的小规模伪造检测模型在捕捉伪造线索方面能力有限，难以在不同领域和未见过的操作中泛化。
- 本文提出了一种双分支互补融合框架，结合CLIP和DINOv3模型的优势，分别捕捉全局语义线索和局部结构特征。
- 在多个基准测试中，所提方法在跨数据集和跨操作设置下表现优异，展示了显著的性能提升。
📝 摘要（中文）
随着图像生成和编辑技术的快速发展，面部伪造对隐私和公共安全构成了重大挑战。现有的小规模伪造检测模型由于捕捉伪造线索的能力有限，往往难以在不同领域和未见过的操作中进行有效泛化。为了解决这一问题，研究者们转向大型基础模型，以提供更丰富的表示和更好的泛化能力。本文提出了一种层次化的多粒度框架，整合了互补的预训练表示，具体包括基于CLIP的全局上下文分支和基于DINOv3的细粒度线索分支。通过联合利用全局上下文和细粒度线索，本文的方法学习了更全面的伪造表示，并在多个基准测试中表现出色，尤其是在跨数据集和跨操作设置下。
🔬 方法详解
问题定义：本文旨在解决面部伪造检测中的泛化能力不足问题，现有的小规模模型难以有效捕捉伪造线索，导致在不同领域和操作中的表现不佳。
核心思路：提出双分支互补融合框架，利用CLIP模型捕捉全局语义信息，同时利用DINOv3模型捕捉局部结构特征，从而实现更全面的伪造检测。
技术框架：整体架构包括两个主要分支：全局上下文分支（GCB）和细粒度线索分支（FCB）。GCB基于CLIP，负责提取全局语义线索；FCB基于DINOv3，专注于捕捉局部结构不规则性。两者通过特征融合模块进行有效结合。
关键创新：最重要的创新在于提出了双分支结构，充分利用了不同基础模型的互补特性，克服了单一模型在伪造检测中的局限性。
关键设计：特征融合模块设计为参数高效的适应性提取和整合机制，能够在冻结的基础模型上进行有效的特征融合，提升了模型的整体性能。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，所提方法在跨数据集和跨操作设置下表现出色，尤其在与现有基线模型的对比中，展示了显著的性能提升，具体提升幅度达到XX%。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在社交媒体、新闻传播和安全监控等领域，能够有效识别和防范面部伪造带来的风险。未来，该方法还可以扩展到其他类型的伪造检测任务，提升公共安全和隐私保护的能力。
📄 摘要（原文）
As image generation and editing technologies have progressed substantially, facial forgeries pose significant challenges to privacy and public safety. Due to limited ability to capture forgery cues, existing small-scale forgery detection models often struggle to generalize across various domains and unseen manipulations. To address this limitation, researchers have turned to large-scale foundation models, which can provide richer representations and better generalization. Nevertheless, relying on a single foundation model alone remains insufficient for effective forgery detection. While models like CLIP offer robust global semantic cues, they lack the capacity to capture detailed local facial features. In contrast, DINO excels at capturing local structural features of faces, but provides weaker global semantic context. To fully utilize the synergies among multiple foundation models, we propose a hierarchical multi-granular framework that integrates complementary pretrained representations. Specifically, a Global Context Branch (GCB) based on CLIP captures holistic semantic cues, while a Fine-grained Cue Branch (FCB) built on DINOv3 captures localized structural irregularities. In addition, we design a feature fusion module that enables parameter-efficient adaptation of the frozen foundation backbones by adaptively extracting and integrating complementary features from the two models. By jointly leveraging global context and fine-grained cues, our method learns more comprehensive forgery representations and achieves strong cross-manipulation performance. Extensive experiments on multiple benchmarks demonstrate the benefit of the proposed design, particularly under cross-dataset and cross-manipulation settings.