Rethinking the Readout: Unlocking Video Backbones for AI-Generated Video Detection

📄 arXiv: 2607.15321 📥 PDF

作者: Manni Cui, Ziheng Qin, ZiAn Wang, Ruiqi Liu, Dianyuan Zou, Jianglan Wei, Han Zhou, Yu Liu, Jingrui Xu, Wenhao Wang, Zhenyu Zhang

分类: cs.CV

发布日期: 2026-07-20

💡 一句话要点

提出V-PVP以解决AI生成视频检测中的时序信息损失问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: AI生成视频 时序伪影 视频检测 补丁速度场 轻量级模型 深度学习 视频分析 性能提升

📋 核心要点

  1. 现有视频检测方法在处理AI生成视频时，未能有效捕捉到时序信息，导致性能不足。
  2. 本文提出V-PVP方法，通过替换聚合层，利用补丁速度场的并行流来捕捉时序动态。
  3. 实验表明，V-PVP在多种视频骨干网络上均能提升性能，AIGVDBench上达到了95.28的AUC。

📝 摘要（中文）

AI生成视频（AIGVs）通常存在微妙的时序伪影，这些伪影源于帧间不一致性而非单帧内部。现有的标准全局读出方法在AIGV基准测试中未能超越强大的图像预训练探测器，主要原因在于过度的时空聚合压制了局部补丁级别的时序动态。为此，本文提出了一种轻量级的Velocity Gated Patch Velocity Profiling（V-PVP）方法，通过替换聚合层，采用两个并行流处理补丁速度场，显著提升了检测性能。实验结果显示，V-PVP在AIGVDBench上达到了95.28的AUC，同时保持了骨干网络的完全冻结。

🔬 方法详解

问题定义：本文旨在解决AI生成视频检测中，现有方法因过度时空聚合而导致的时序信息损失问题。标准全局读出方法未能有效利用视频预训练骨干的潜力，表现不佳。

核心思路：提出Velocity Gated Patch Velocity Profiling（V-PVP）方法，核心在于通过并行流处理补丁速度场，替换传统的聚合层，从而保留局部时序动态信息。

技术框架：V-PVP方法的整体架构包括输入视频帧的处理、补丁速度场的计算和并行流的聚合，最终输出用于检测的特征表示。

关键创新：V-PVP的最大创新在于其轻量级设计，仅增加约0.5M的可训练参数，且能有效恢复冻结视频骨干的时序潜力，显著提升检测性能。

关键设计：在设计中，采用了并行流结构以处理补丁速度场，确保了局部信息的保留，同时在损失函数和网络结构上进行了优化，以适应AIGV的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，V-PVP在AIGVDBench上达到了95.28的AUC，相较于传统方法有显著提升，证明了替换聚合层的有效性。该方法在多种视频骨干网络上均表现出色，展现了良好的通用性和适应性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、内容审核和社交媒体平台的自动化检测等。通过提高AI生成视频的检测能力，可以有效减少虚假信息传播，提升内容安全性。未来，该方法还可能扩展到其他视频分析任务中，具有广泛的实际价值。

📄 摘要（原文）

AI-generated videos (AIGVs) typically contain subtle temporal artifacts that arise from inter-frame inconsistencies rather than within individual frames. A detector that captures such artifacts should therefore benefit from video pretrained backbones over image only ones. In practice, however, video backbones with standard global readouts often fail to outperform strong image pretrained probes on AIGV benchmarks. We attribute this gap to excessive spatiotemporal aggregation in the readout. Video pretrained backbones tend to compress each frame into a single global descriptor. This compression suppresses local patch level temporal dynamics and discards inter patch relations, which are precisely the cues that AIGV detection most reliably depends on. Based on this, we propose Velocity Gated Patch Velocity Profiling (V-PVP), a lightweight readout that replaces only the aggregation layer with two parallel streams over the patch velocity field, adding only about $0.5$M trainable parameters. V-PVP serves as a general plug-and-play module that consistently improves performance across diverse video backbones under both end-to-end fine-tuning and linear probing settings. Our method reaches \textbf{95.28} AUC on AIGVDBench while keeping the backbone fully frozen. The results show that simply replacing the aggregation layer reactivates the temporal potential of frozen video backbones, restoring their advantage on AIGV detection. Code is available atthis https URL.