MTOR: Generalizable AI-Generated Video Detection with Multimodal Semantics and Temporal Over-Regularity

📄 arXiv: 2610.06378v1 📥 PDF

作者: Hang Wang, Chao Shen, Lei Zhang, Zhi-Qi Cheng

分类: cs.CV

发布日期: 2026-10-05

备注: 18 pages, 4 figures, 19 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出MTOR以解决AI生成视频检测的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI生成视频 视频检测 多模态融合 时间规律性 深度学习 计算机视觉 鲁棒性

📋 核心要点

  1. 现有的AI生成视频检测方法主要依赖视觉信息，忽视了文本语义的潜在价值，导致检测效果受限。
  2. MTOR模型通过引入多模态分支，整合视觉和文本信息，同时利用时间过度规律性（TOR）来增强检测能力。
  3. 在五个基准测试上，MTOR模型在46种生成器变体上表现出色，超越了16个代表性基线，展现出强大的鲁棒性。

📝 摘要（中文）

随着视频生成技术的快速发展，真实视频与合成视频之间的感知差距逐渐缩小，使得可泛化的AI生成视频检测变得愈发困难。现有检测器主要依赖视觉表示，未充分利用基于文本的语义信息。同时，细粒度视觉表示中的时间规律性也未受到足够重视。我们发现，基于文本的表示为全局视觉表示提供了互补的判别线索。此外，AI生成视频表现出更强的时间持续性和较低的时间变异性，这一现象被称为时间过度规律性（TOR）。基于这些发现，我们提出了MTOR模型，结合了多模态分支和TOR组件，能够有效提升检测性能。

🔬 方法详解

问题定义：本论文旨在解决AI生成视频检测中存在的挑战，尤其是现有方法对视觉信息的过度依赖，导致对文本语义信息的忽视，从而影响检测的准确性和泛化能力。

核心思路：论文提出MTOR模型，通过引入多模态分支，结合视觉和文本信息，利用时间过度规律性（TOR）来增强模型对AI生成视频的检测能力。这样的设计旨在充分利用不同模态的信息互补性，提高检测的准确性。

技术框架：MTOR模型的整体架构包括两个主要模块：多模态分支和TOR组件。多模态分支负责整合全局视觉表示和基于文本的语义表示，而TOR组件则在三个层面建模时间过度规律性，包括粗略的帧间连续性、细粒度的标记对应关系和帧到视频的稳定性。

关键创新：MTOR的核心创新在于引入了时间过度规律性（TOR）的概念，并将其与多模态信息融合，显著提升了检测性能。这一方法与现有方法的本质区别在于同时考虑了视觉和文本信息的互补性，以及时间规律性的建模。

关键设计：在模型设计中，采用了特定的损失函数来平衡视觉和文本信息的贡献，同时在TOR组件中设计了多层次的时间建模机制，以确保模型能够捕捉到视频的时间特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MTOR在五个基准测试上展现出卓越的性能，整体表现超越16个代表性基线，尤其在面对12种真实世界视频扰动时，展现出强大的鲁棒性，证明了其在实际应用中的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、虚假信息检测以及视频监控等场景。通过提高AI生成视频的检测能力，MTOR能够有效帮助相关行业识别和过滤合成视频，维护信息的真实性和安全性。未来，该技术可能在视频生成和检测的交互领域产生深远影响。

📄 摘要（原文）

The rapid evolution of video generation has narrowed the perceptual gap between authentic and synthetic videos, making generalizable AI-generated video detection increasingly challenging. Existing detectors predominantly rely on visual representations, leaving caption-derived textual semantics underexplored. Meanwhile, temporal regularity in fine-grained visual representations has received limited attention. We find that caption-derived textual representations provide complementary discriminative cues to global visual representations. Our analysis further reveals that AI-generated videos exhibit stronger temporal persistence and lower temporal variability, a pattern we term temporal over-regularity (TOR). Based on these findings, we propose MTOR with a multimodal branch and a TOR component. The multimodal branch integrates global visual and caption-derived textual representations, while the TOR component models temporal over-regularity at three levels: coarse inter-frame continuity, fine-grained token correspondence, and frame-to-video stability. Extensive evaluations on five benchmarks covering 46 generator variants demonstrate state-of-the-art overall performance against 16 representative baselines, while robustness experiments confirm strong resilience to twelve real-world video perturbations. Code and models will be released at https://github.com/hwang-cs-ime/MTOR.