CAD: A General Multimodal Framework for Video Deepfake Detection via Cross-Modal Alignment and Distillation

📄 arXiv: 2505.15233v1 📥 PDF

作者: Yuxuan Du, Zhendong Wang, Yuhao Luo, Caiyong Piao, Zhiyuan Yan, Hao Li, Li Yuan

分类: cs.CV

发布日期: 2025-05-21

💡 一句话要点

提出CAD框架以解决视频深度伪造检测中的多模态融合问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频深度伪造 多模态融合 跨模态对齐 蒸馏训练 取证痕迹 语义不一致性 检测性能提升

📋 核心要点

  1. 现有视频深度伪造检测方法往往只依赖单一模态特征，忽视了模态间的互补信息，导致检测性能不足。
  2. 本文提出的CAD框架通过跨模态对齐和蒸馏技术，解决了模态特征冲突问题，同时保留了模态特定的取证痕迹。
  3. 实验结果显示，CAD在多模态和单模态基准测试中均表现优异，相较于现有方法提升了检测准确率。

📝 摘要（中文）

随着多模态深度伪造技术的快速发展，现有的检测器往往依赖于单一模态的特征，导致检测性能受限。本文首次证明了模态特定的取证痕迹和共享的语义不一致性提供了互补证据，忽视任一方面都会限制检测效果。为此，提出了一种通用的多模态框架CAD，通过跨模态对齐和蒸馏来提升视频深度伪造检测的准确性。实验结果表明，CAD在多模态和单模态基准测试中均显著优于现有方法，验证了多模态信息和谐整合的必要性。

🔬 方法详解

问题定义：本文旨在解决视频深度伪造检测中模态特征融合的不足，现有方法往往忽视模态特定的取证痕迹，导致检测效果不佳。

核心思路：CAD框架通过跨模态对齐识别高层语义不一致性，并通过跨模态蒸馏减少特征冲突，确保模态特定信息的保留，从而提升检测性能。

技术框架：CAD框架主要包括两个核心模块：跨模态对齐模块用于检测语义不一致性，跨模态蒸馏模块用于特征融合和冲突缓解。

关键创新：CAD的创新在于同时考虑模态特定的取证痕迹和共享的语义不一致性，形成互补证据，显著提升了检测性能。

关键设计：在设计中，采用了特定的损失函数来平衡模态特征的融合，同时优化了网络结构以增强对模态特征的提取能力。通过实验验证了这些设计的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多模态和单模态深度伪造基准测试中，CAD框架的检测准确率显著高于现有方法，具体提升幅度达到XX%，验证了其在多模态信息整合方面的有效性。

🎯 应用场景

该研究在视频深度伪造检测领域具有广泛的应用潜力，能够有效提升社交媒体、新闻传播等场景中的内容真实性检测能力。未来，CAD框架可扩展至其他多模态数据处理任务，推动相关技术的发展。

📄 摘要（原文）

The rapid emergence of multimodal deepfakes (visual and auditory content are manipulated in concert) undermines the reliability of existing detectors that rely solely on modality-specific artifacts or cross-modal inconsistencies. In this work, we first demonstrate that modality-specific forensic traces (e.g., face-swap artifacts or spectral distortions) and modality-shared semantic misalignments (e.g., lip-speech asynchrony) offer complementary evidence, and that neglecting either aspect limits detection performance. Existing approaches either naively fuse modality-specific features without reconciling their conflicting characteristics or focus predominantly on semantic misalignment at the expense of modality-specific fine-grained artifact cues. To address these shortcomings, we propose a general multimodal framework for video deepfake detection via Cross-Modal Alignment and Distillation (CAD). CAD comprises two core components: 1) Cross-modal alignment that identifies inconsistencies in high-level semantic synchronization (e.g., lip-speech mismatches); 2) Cross-modal distillation that mitigates feature conflicts during fusion while preserving modality-specific forensic traces (e.g., spectral distortions in synthetic audio). Extensive experiments on both multimodal and unimodal (e.g., image-only/video-only)deepfake benchmarks demonstrate that CAD significantly outperforms previous methods, validating the necessity of harmonious integration of multimodal complementary information.