Video Inpainting Localization with Contrastive Learning

📄 arXiv: 2406.17628v1 📥 PDF

作者: Zijie Lou, Gang Cao, Man Lin

分类: cs.CV, cs.CR

发布日期: 2024-06-25

备注: arXiv admin note: substantial text overlap with arXiv:2406.13576

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于对比学习的视频修复区域定位方法ViLocal，用于检测伪造视频。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频修复检测 篡改检测 对比学习 时空特征 3D Uniformer 视频取证 深度学习

📋 核心要点

  1. 现有视频修复检测方法在时空特征提取方面存在不足，难以有效识别修复区域的局部不一致性。
  2. ViLocal利用3D Uniformer提取时空特征，并引入监督对比学习，增强模型对修复区域局部不一致性的判别能力。
  3. 通过构建大规模视频对象分割数据集进行训练，ViLocal在修复区域定位任务上取得了优于现有技术的性能。

📝 摘要（中文）

深度视频修复技术常被恶意利用，通过移除重要物体来制造虚假视频。盲检测修复区域至关重要。本文提出了一种简单而有效的视频修复区域定位方案，称为ViLocal，即基于对比学习的视频修复定位。具体来说，采用3D Uniformer编码器处理视频噪声残差，以学习有效的时空取证特征。为了增强判别能力，采用监督对比学习，通过吸引/排斥正/负样本对，来捕获修复视频的局部不一致性。通过一个轻量级的卷积解码器和一个专门的两阶段训练策略，生成像素级的修复定位图。为了准备足够的训练样本，我们构建了一个包含2500个视频的视频对象分割数据集，每个帧都有像素级标注。大量的实验结果验证了ViLocal优于现有技术。

🔬 方法详解

问题定义：该论文旨在解决视频修复篡改检测中的定位问题，即在没有先验知识的情况下，准确地识别视频中被修复（inpainted）的区域。现有方法通常难以有效捕捉修复区域与原始区域之间的细微不一致性，尤其是在时空维度上，导致定位精度不高。

核心思路：论文的核心思路是利用视频的噪声残差作为输入，通过学习其时空特征来区分原始区域和修复区域。同时，引入监督对比学习，将原始像素和修复像素视为负样本，原始像素之间以及修复像素之间视为正样本，从而增强模型对局部不一致性的敏感度。这种方法旨在提高模型对细微篡改痕迹的检测能力。

技术框架：ViLocal的整体框架包括以下几个主要模块：1) 3D Uniformer编码器：用于提取视频噪声残差的时空特征。2) 监督对比学习模块：通过吸引正样本对和排斥负样本对，增强特征的判别能力。3) 轻量级卷积解码器：将编码器的特征映射解码为像素级的修复定位图。4) 两阶段训练策略：首先训练编码器和对比学习模块，然后固定它们，只训练解码器，以提高定位精度。

关键创新：该论文的关键创新在于：1) 将3D Uniformer应用于视频修复检测，有效提取时空特征。2) 引入监督对比学习，增强模型对修复区域局部不一致性的判别能力。3) 提出了一个两阶段训练策略，优化了模型的训练过程，提高了定位精度。

关键设计：在网络结构方面，3D Uniformer采用Transformer结构，能够捕捉长距离的时空依赖关系。监督对比学习的损失函数旨在最小化正样本对之间的距离，同时最大化负样本对之间的距离。两阶段训练策略中，第一阶段使用交叉熵损失函数，第二阶段使用Dice损失函数，以提高定位精度。此外，论文还构建了一个包含2500个视频的视频对象分割数据集，为模型的训练提供了充足的数据。

🖼️ 关键图片

fig_0

📊 实验亮点

ViLocal在视频修复定位任务上取得了显著的性能提升，优于现有的state-of-the-art方法。通过构建大规模视频对象分割数据集，并采用对比学习和两阶段训练策略，ViLocal能够更准确地定位视频中的修复区域，为视频取证提供有力支持。具体性能数据和对比基线信息可在论文原文中找到。

🎯 应用场景

该研究成果可应用于数字取证、新闻真实性验证、版权保护等领域。通过自动检测视频中的修复区域，可以帮助识别伪造视频，维护网络信息安全，防止恶意传播虚假信息，具有重要的社会价值和应用前景。

📄 摘要（原文）

Deep video inpainting is typically used as malicious manipulation to remove important objects for creating fake videos. It is significant to identify the inpainted regions blindly. This letter proposes a simple yet effective forensic scheme for Video Inpainting LOcalization with ContrAstive Learning (ViLocal). Specifically, a 3D Uniformer encoder is applied to the video noise residual for learning effective spatiotemporal forensic features. To enhance the discriminative power, supervised contrastive learning is adopted to capture the local inconsistency of inpainted videos through attracting/repelling the positive/negative pristine and forged pixel pairs. A pixel-wise inpainting localization map is yielded by a lightweight convolution decoder with a specialized two-stage training strategy. To prepare enough training samples, we build a video object segmentation dataset of 2500 videos with pixel-level annotations per frame. Extensive experimental results validate the superiority of ViLocal over state-of-the-arts. Code and dataset will be available at https://github.com/multimediaFor/ViLocal.