X-AVDT: Audio-Visual Cross-Attention for Robust Deepfake Detection

📄 arXiv: 2603.08483v1 📥 PDF

作者: Youngseo Kim, Kwan Yun, Seokhyeon Hong, Sihun Cha, Colette Suhjung Koo, Junyong Noh

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-03-09

💡 一句话要点

提出X-AVDT，利用音视频跨注意力机制实现鲁棒的Deepfake检测

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Deepfake检测 音视频跨注意力 DDIM反演 多模态学习 生成器内部信号

📋 核心要点

  1. 现有Deepfake检测方法难以应对快速发展的生成模型，缺乏对生成器内部机制的理解。
  2. X-AVDT通过DDIM反演探测生成器内部音视频信号，提取视频合成差异和跨注意力特征。
  3. X-AVDT在MMDF数据集上表现领先，且泛化性强，在外部数据集上准确率提升13.1%。

📝 摘要（中文）

随着生成系统产生的高度逼真的合成视频激增，恶意使用的风险显著增加，对人类和现有检测器都提出了挑战。本文从生成器角度出发，观察到这些模型中的内部跨注意力机制编码了精细的语音-运动对齐信息，为伪造检测提供了有用的对应线索。基于此，我们提出了X-AVDT，一种鲁棒且泛化性强的Deepfake检测器，它通过DDIM反演探测生成器内部的音视频信号，以揭示这些线索。X-AVDT提取两个互补信号：（i）捕捉反演引起的差异的视频合成，以及（ii）反映生成过程中强制执行的模态对齐的音视频跨注意力特征。为了实现忠实的跨生成器评估，我们进一步引入了MMDF，一个新的多模态Deepfake数据集，涵盖了各种操纵类型和快速发展的合成范式，包括GAN、扩散和流匹配。大量实验表明，X-AVDT在MMDF上取得了领先的性能，并能很好地泛化到外部基准和未见过的生成器，其准确率比现有方法提高了13.1%。我们的研究结果强调了利用内部音视频一致性线索对于Deepfake检测的未来生成器鲁棒性的重要性。

🔬 方法详解

问题定义：当前Deepfake检测方法难以有效应对新型生成模型，尤其是在跨生成器泛化能力方面表现不足。现有方法通常依赖于特定生成器的伪影或模式，当面对未知的生成器时，性能会显著下降。因此，如何设计一种能够有效检测各种生成模型（包括GAN、扩散模型等）生成的Deepfake，并具有良好泛化能力的检测器，是本文要解决的核心问题。

核心思路：本文的核心思路是利用生成器内部的音视频跨注意力机制所编码的语音-运动对齐信息。作者认为，即使是高度逼真的Deepfake，其生成过程中仍然会受到音视频一致性的约束，而这种约束会在生成器的内部跨注意力机制中留下痕迹。通过分析这些痕迹，可以有效地识别Deepfake。

技术框架：X-AVDT的整体框架包括以下几个主要步骤：1) 使用DDIM反演技术从Deepfake视频中重建潜在的生成器内部状态；2) 从反演后的状态中提取两个互补信号：视频合成差异和音视频跨注意力特征；3) 使用分类器对提取的特征进行分类，判断视频是否为Deepfake。其中，视频合成差异反映了反演过程中的不一致性，而音视频跨注意力特征则反映了生成过程中音视频模态的对齐程度。

关键创新：X-AVDT的关键创新在于：1) 利用DDIM反演技术探测生成器内部的音视频信号，从而能够分析生成过程中的细粒度信息；2) 提出了一种新的音视频跨注意力特征，能够有效地捕捉音视频模态之间的对齐关系；3) 构建了一个新的多模态Deepfake数据集MMDF，涵盖了各种操纵类型和快速发展的合成范式，为跨生成器评估提供了可靠的基准。

关键设计：在技术细节方面，X-AVDT使用了预训练的语音识别模型和人脸跟踪算法来提取音视频特征。跨注意力特征的计算方式是：首先计算音频特征和视频特征之间的注意力权重，然后将这些权重作为特征向量输入到分类器中。分类器可以使用任何标准的机器学习模型，例如支持向量机或神经网络。此外，MMDF数据集的构建也经过精心设计，以确保其能够代表各种Deepfake生成技术。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

X-AVDT在MMDF数据集上取得了领先的性能，并在跨生成器泛化能力方面表现出色。在外部基准测试中，X-AVDT的准确率比现有方法提高了13.1%，证明了其在应对未知生成器时的鲁棒性和泛化能力。实验结果表明，利用内部音视频一致性线索是提高Deepfake检测器鲁棒性的有效途径。

🎯 应用场景

X-AVDT可应用于社交媒体平台、新闻媒体机构和安全监控系统，用于检测和识别Deepfake视频，从而防止虚假信息的传播和恶意攻击。该研究有助于提高公众对Deepfake技术的认知，并为开发更可靠的Deepfake检测工具提供技术支持，具有重要的社会价值和应用前景。

📄 摘要（原文）

The surge of highly realistic synthetic videos produced by contemporary generative systems has significantly increased the risk of malicious use, challenging both humans and existing detectors. Against this backdrop, we take a generator-side view and observe that internal cross-attention mechanisms in these models encode fine-grained speech-motion alignment, offering useful correspondence cues for forgery detection. Building on this insight, we propose X-AVDT, a robust and generalizable deepfake detector that probes generator-internal audio-visual signals accessed via DDIM inversion to expose these cues. X-AVDT extracts two complementary signals: (i) a video composite capturing inversion-induced discrepancies, and (ii) an audio-visual cross-attention feature reflecting modality alignment enforced during generation. To enable faithful cross-generator evaluation, we further introduce MMDF, a new multimodal deepfake dataset spanning diverse manipulation types and rapidly evolving synthesis paradigms, including GANs, diffusion, and flow-matching. Extensive experiments demonstrate that X-AVDT achieves leading performance on MMDF and generalizes strongly to external benchmarks and unseen generators, outperforming existing methods with accuracy improved by 13.1%. Our findings highlight the importance of leveraging internal audio-visual consistency cues for robustness to future generators in deepfake detection.