ManiVid: Unified and Explainable Forensic Analysis of Manipulated Videos
作者: Hengrui Kang, Zhonghao Yan, Yuxuan Yang, Ruoyan Jing, Yuncheng Guo, Hao Chen, Kongming Liang, Zhanyu Ma, Conghui He, Weijia Li
分类: cs.CV
发布日期: 2026-09-25
💡 一句话要点
提出ManiVid以解决视频伪造分析的挑战
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频伪造 法医分析 多模态学习 数据集构建 异常检测 深度学习 视频理解
📋 核心要点
- 现有的视频伪造分析方法在高质量数据集和多模态分析能力上存在显著不足，难以应对复杂的操控视频。
- 论文提出了ManiVid任务，结合伪造检测、特征定位和异常解释，构建了ManiVid-38K数据集以支持这一任务。
- 实验结果显示，ManiVidLens在伪造特征定位和异常解释上相较于现有方法有显著提升，且伪造检测性能与专用分类器相当。
📝 摘要（中文）
随着AI生成视频技术的快速发展，视频伪造的风险显著增加。与完全合成的视频不同，操控视频保留了大部分源内容，仅对局部区域进行了修改，这使得法医分析变得尤为复杂。现有的视频伪造研究在数据和方法论上存在两大局限：一是缺乏高质量的针对操控视频的数据集和基准；二是多模态大语言模型在伪造分析中虽然超越了二元分类，但在使用低级法医线索和提供精确的像素级定位方面仍显不足。为此，我们提出了ManiVid，一个统一的法医分析任务，涵盖伪造检测、伪造特征定位和异常解释。我们构建了ManiVid-38K，这是第一个结合配对、开放词汇的本地化操控视频数据集，包含真实性标签、伪造掩码和异常解释。
🔬 方法详解
问题定义：本论文旨在解决操控视频的法医分析问题，现有方法在高质量数据集和多模态推理能力上存在不足，难以有效进行伪造检测和异常解释。
核心思路：我们提出了ManiVid任务，整合伪造检测、伪造特征定位和异常解释，构建了ManiVid-38K数据集，提供丰富的标注信息以支持深入分析。
技术框架：ManiVidLens是我们的统一框架，包含法医证据路由器和提示蒸馏模块。法医证据路由器提供共享的低级法医证据，支持多模态推理和视频分割；提示蒸馏模块将定位状态转化为语义和几何提示，提炼空间先验用于掩码解码和全视频传播。
关键创新：ManiVid的最大创新在于构建了一个结合多种操控类型和生成模型的综合性数据集，并提出了ManiVidLens框架，显著提升了伪造特征定位和异常解释的性能。
关键设计：我们在模型中采用了多种损失函数以优化伪造检测和特征定位的效果，设计了适应性强的网络结构以处理不同类型的操控视频。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ManiVidLens在伪造特征定位上相较于最强对比方法提升了21.1%的mIoU和21.3%的J&F，在异常解释上提升了131.3%的ROUGE-L和9.9%的CSS，伪造检测的准确率和F1分数均达到0.914和0.913，表现出色。
🎯 应用场景
该研究在视频监控、新闻媒体和法律取证等领域具有广泛的应用潜力。通过提供更准确的伪造视频分析工具，能够有效提升对视频内容真实性的判断能力，减少虚假信息的传播，增强公众对视频内容的信任度。
📄 摘要（原文）
Rapid advances in AI-generated video (AIGV) have increased the risks posed by deceptive video manipulation. Unlike fully synthetic videos, manipulated videos retain most source content and alter only localized regions, making forensic analysis particularly challenging. Existing video forgery research faces two limitations in both data and methodology: (1) High-quality datasets and benchmarks tailored for manipulated videos remain scarce. (2) Multimodal large language models (MLLMs) extend forgery analysis beyond binary classification but struggle to use low-level forensic cues and provide precise pixel-level grounding. Specifically, we introduce ManiVid, a unified forensic analysis task covering forgery detection, artifact grounding, and anomaly explanation for manipulated videos. We construct ManiVid-38K, the first dataset to combine paired, open-vocabulary localized manipulations of general videos with authenticity labels, forgery masks, and anomaly explanations. It comprises about 19K manually verified real-fake video pairs, mostly at 1080P resolution, generated under 2 paradigms with 15 powerful generation models. We sample 1K pairs for ManiVidBench, balanced across six manipulation types and generation models for fair evaluation. We further propose ManiVidLens, a unified framework for explainable video forgery analysis. Its Forensic Evidence Router supplies shared low-level forensic evidence for multimodal reasoning and video segmentation. Its Prompt Distill Module converts grounding states into semantic and geometric prompts and distills spatial priors for mask decoding and full-video propagation. ManiVidLens achieves relative gains over the strongest comparison methods in artifact grounding (+21.1% mIoU; +21.3% J&F) and anomaly explanation (+131.3% ROUGE-L; +9.9% CSS). Its forgery detection remains comparable to dedicated classifiers (0.914 Acc; 0.913 F1).