Stop My Dancing! Understanding, Detecting and Attributing Motion-Aware Deepfake Videos

📄 arXiv: 2610.11496v1 📥 PDF

作者: Fazhong Liu, Yan Meng, Tian Dong, Guoxing Chen, Haojin Zhu

分类: cs.CV, cs.CR

发布日期: 2026-10-08

💡 一句话要点

提出MoDA框架以检测和归因运动感知深度伪造视频

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度伪造 运动感知 视频检测 防御框架 特征提取 跨域对齐 多尺度聚合

📋 核心要点

  1. 现有深度伪造视频检测方法难以有效识别运动感知深度伪造（MAD）视频，尤其是在运动边界处的伪影问题。
  2. 论文提出MoDA框架，通过跨域对齐和多尺度聚合，结合空间语义与频域特征，专门针对MAD视频进行检测和归因。
  3. 实验结果显示，MoDA在多个数据集上实现了94.8%的检测准确率，较现有方法提升10%至25%，并在未见视频上也表现出色。

📝 摘要（中文）

随着姿态引导扩散模型的进步，运动感知深度伪造（MAD）视频的合成已成为新兴威胁。本文构建了首个MAD特定基准和测量框架，包含超过150万帧数据，分析发现MAD视频在运动边界处存在高频伪影和模型特征指纹。基于此，提出了MoDA防御框架，结合空间语义与频域特征，显著提高了检测和归因准确率，展示了良好的零样本迁移能力。

🔬 方法详解

问题定义：本文旨在解决运动感知深度伪造视频（MAD）检测和归因的挑战，现有方法在运动边界处的伪影和特征指纹识别上存在不足。

核心思路：MoDA框架通过结合空间语义信息与频域特征，利用跨域对齐和多尺度聚合，增强了对MAD视频的检测能力。

技术框架：MoDA的整体架构包括数据预处理、特征提取、跨域对齐、特征聚合和最终的分类决策模块，确保了高效的检测流程。

关键创新：MoDA的创新在于首次将空间语义与频域特征结合，形成了针对MAD视频的专门检测机制，与传统方法相比具有更高的准确性和鲁棒性。

关键设计：在设计中，MoDA采用了多尺度特征聚合策略，并引入了特定的损失函数以优化模型在不同数据集上的表现，确保了其在各种攻击下的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MoDA在检测准确率上达到了94.8%，在跨数据集的检测准确率为89.1%，相较于基线方法提升了10%至25%。此外，MoDA在未见的MAD视频上也表现出色，准确率达到78.13%，显示出良好的零样本迁移能力。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、视频监控系统和虚假信息检测等。通过有效识别和归因MAD视频，能够帮助相关机构打击网络欺诈和虚假信息传播，提升公众对深度伪造技术的警觉性。未来，MoDA框架有望在更广泛的深度伪造检测任务中发挥重要作用。

📄 摘要（原文）

Pose-guided diffusion models can now synthesize entire human figures in motion, spawning a new class of deepfakes: Motion Aware Deepfake (MAD) that have already reached hundreds of millions of viewers. To better understand this emerging threat, we construct the first MAD-specific benchmark and measurement framework, containing over 1.5 million frames that mix 1,363 real and 30,122 synthetic videos from six controllable generators, with realistic perturbations and open-world evaluation splits. Then, we dissect MAD and discover that, despite their global coherence, these videos betray faint yet reliable cues: because the model relies on limited input frames for motion synthesis, it must predict and simulate coherent movement at motion boundaries, thereby producing high-frequency artifacts along with model-specific spectral fingerprints. Based on the observations obtained from analysis on dataset, we propose MoDA, the first defense framework tailored to detect and attribute MAD videos. MoDA couples spatial semantics with steganalysis-rich frequency features via cross-domain alignment and multi-scale aggregation, achieving 94.8% in-distribution and 89.1% cross-dataset detection accuracy gains of 10% to 25% over prior work and 91.5% model attribution accuracy. MoDA achieves 81.94% accuracy on 200 clips produced by two unseen commercial MAD platforms, indicating promising zero-shot transfer, and 78.13% detection accuracy on 1,200 unseen MAD video clips (55k frames in total) collected from the open Internet. Under white-box, gray-box, and black-box adaptive attacks, MoDA maintains relatively stable detection and attribution performance while the accuracies of the baselines drop rapidly.