Towards multi-modal forgery representation learning for AI-generated video detection and localization

📄 arXiv: 2605.07232v1 📥 PDF

作者: Dat Le, Khoa Nguyen, Xin Wang, Shu Hu

分类: cs.CV

发布日期: 2026-05-08

💡 一句话要点

提出多模态伪造表示学习框架，用于AI生成视频的检测与定位。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: AI生成视频检测 多模态融合 伪造定位 时空特征 音频分析 语义理解 视频内容安全

📋 核心要点

  1. 现有AI生成视频检测方法主要依赖于单模态或部分模态信息，忽略了跨模态的关联性，且缺乏对篡改发生时间点的精确定位能力。
  2. 本文提出一种多模态融合框架，通过联合建模视觉、音频和语义信息，实现对AI生成视频的检测和时间维度上的精细化定位。
  3. 实验结果表明，该方法在AI生成视频检测和定位任务上，显著优于现有方法，实现了性能提升。

📝 摘要（中文）

随着生成式AI的快速发展，大规模视频创作变得日益普及。然而，AI生成的视频，包括跨视觉和音频通道的部分篡改片段，带来了语义失真和滥用的风险，因此需要可靠的检测工具。现有AI生成视频检测器大多局限于单模态或部分模态的数据建模，并且缺乏细粒度的时间伪造定位能力。为了解决这些挑战，本文提出了一个核心架构，该架构联合集成了LMM语义分支、时空(ST)视觉分支和多尺度部分欺骗(PS)音频分支。这种多模态方法能够同时检测和细粒度地定位AI生成视频伪造中的部分篡改。大量的实验表明，该方法优于现有的最先进方法。

🔬 方法详解

问题定义：现有AI生成视频检测方法的痛点在于，它们通常只利用单一或部分模态的信息，例如仅分析视频的视觉内容或音频内容。这种方式忽略了不同模态之间的关联性，导致检测精度不高，并且无法精确定位视频中被篡改的时间片段。特别是对于部分篡改的视频，现有方法的检测效果更差。

核心思路：本文的核心思路是通过多模态融合，综合利用视频的视觉、音频和语义信息来进行AI生成视频的检测和定位。具体来说，通过构建不同的分支网络来提取不同模态的特征，然后将这些特征进行融合，从而更全面地理解视频内容，提高检测的准确性和定位的精细度。作者假设AI伪造会在多个模态留下痕迹，捕捉这些痕迹能够有效提高检测性能。

技术框架：整体框架包含三个主要分支：LMM语义分支、时空(ST)视觉分支和多尺度部分欺骗(PS)音频分支。首先，LMM语义分支用于提取视频的语义信息，理解视频的内容；其次，ST视觉分支用于分析视频的视觉内容，捕捉视频中的异常；第三，PS音频分支用于分析视频的音频内容，检测音频中的伪造痕迹。最后，将这三个分支提取的特征进行融合，利用分类器进行AI生成视频的检测和定位。

关键创新：该论文的关键创新在于提出了一种多模态融合的框架，能够同时利用视频的视觉、音频和语义信息来进行AI生成视频的检测和定位。与现有方法相比，该方法能够更全面地理解视频内容，从而提高检测的准确性和定位的精细度。此外，多尺度音频分支的设计，能够更好地捕捉音频中的微小篡改痕迹。

关键设计：具体来说，LMM语义分支可能使用了预训练的语言模型（如BERT或其变体）来提取文本描述的语义特征。ST视觉分支可能使用了3D卷积神经网络（如C3D或I3D）来提取时空特征。PS音频分支可能使用了卷积神经网络（CNN）来提取音频频谱图的特征，并通过多尺度设计来捕捉不同频率范围内的篡改痕迹。损失函数可能使用了交叉熵损失或其变体，用于优化分类器的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在AI生成视频检测和定位任务上，取得了显著的性能提升，超越了现有的state-of-the-art方法。具体性能数据未知，但摘要明确说明“extensive experiments show that this approach outperforms existing state-of-the-art methods”。未来的研究方向包括进一步优化模型结构、探索更有效的多模态融合策略等。

🎯 应用场景

该研究成果可广泛应用于社交媒体平台的内容审核、新闻媒体的真实性验证、以及安全监控等领域。通过自动检测和定位AI生成的虚假视频，能够有效防止谣言传播、维护信息安全，并减少恶意篡改视频带来的负面影响。未来，该技术有望进一步发展，应用于更复杂的视频场景，并与其他安全技术相结合，形成更强大的安全防护体系。

📄 摘要（原文）

Recent advances in generative AI have democratized video creation at scale. AI-generated videos, including partially manipulated clips across visual and audio channels, pose escalating risks of semantic distortion and misuse, which motivates the need for reliable detection tools. Most existing AI-generated video detectors remain limited by single- or partial-modality of data modeling and the lack of fine-grained temporal forgery localization. To address these challenges, our primary novelty introduces a core architecture that jointly integrates an LMM semantic branch with a spatio-temporal (ST) visual branch and a multi-scale partial-spoof (PS) audio branch. This multi-modal approach enables simultaneous detection and fine-grained temporal localization of partially manipulated AI-generated video forgeries. Extensive experiments show that this approach outperforms existing state-of-the-art methods.