Global Motion Understanding in Large-Scale Video Object Segmentation

📄 arXiv: 2405.07031v1 📥 PDF

作者: Volodymyr Fedynyak, Yaroslav Romanus, Oles Dobosevych, Igor Babin, Roman Riazantsev

分类: cs.CV

发布日期: 2024-05-11

💡 一句话要点

提出WarpFormer，利用全局运动信息提升大规模视频目标分割的鲁棒性。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频目标分割 半监督学习 光流估计 全局运动信息 深度学习

📋 核心要点

  1. 现有VOS方法主要依赖局部特征匹配，忽略了视频中蕴含的全局运动结构信息，导致在复杂场景下分割效果不佳。
  2. WarpFormer利用预训练光流估计网络提取全局运动信息，并将历史帧和分割掩码扭曲到当前帧，从而实现更准确的匹配和传播。
  3. 在DAVIS和YouTube-VOS数据集上的实验表明，WarpFormer在性能上与现有方法相当，同时降低了模型复杂度和计算成本。

📝 摘要（中文）

本文提出了一种名为WarpFormer的架构，用于半监督视频目标分割（VOS），该架构利用运动理解领域的知识来执行更平滑的传播和更精确的匹配，从而提高复杂环境下的VOS鲁棒性。与主要依赖语义和上下文特征直接比较进行密集匹配的现有VOS方法不同，WarpFormer集成了场景全局运动知识。该框架采用预训练的光流估计网络，其预测用于将过去的帧和实例分割掩码扭曲到当前帧域。扭曲后的分割掩码经过细化和融合，旨在修复遮挡区域并消除光流场不完善造成的伪影。此外，我们使用新的大规模MOSE 2023数据集来训练模型，使其适应各种复杂场景。实验结果表明，我们的方法在DAVIS 2016/2017验证集（93.0%和85.9%）、DAVIS 2017 test-dev集（80.6%）和YouTube-VOS 2019验证集（83.8%）上表现出色，与最先进的方法相比具有竞争力，同时使用了更简单的记忆机制和实例理解逻辑。

🔬 方法详解

问题定义：论文旨在解决半监督视频目标分割（VOS）在复杂场景下的鲁棒性问题。现有VOS方法主要依赖于当前帧与过去帧之间的语义和上下文特征的直接比较，忽略了视频中蕴含的全局运动信息，导致在遮挡、快速运动等复杂场景下分割效果不佳。

核心思路：论文的核心思路是利用光流估计来提取视频中的全局运动信息，并将这些信息融入到VOS任务中。通过将历史帧和分割掩码根据光流场扭曲到当前帧，可以更准确地进行目标匹配和分割传播，从而提高VOS的鲁棒性。

技术框架：WarpFormer框架主要包含以下几个模块：1) 预训练的光流估计网络，用于估计视频帧之间的光流场；2) 扭曲模块，用于根据光流场将历史帧和分割掩码扭曲到当前帧；3) 分割掩码细化模块，用于修复扭曲后的分割掩码中的伪影和遮挡；4) 分割掩码融合模块，用于将多个扭曲后的分割掩码融合，生成最终的分割结果。

关键创新：WarpFormer的关键创新在于将光流估计与VOS任务相结合，利用全局运动信息来指导分割传播。与现有方法相比，WarpFormer能够更好地处理复杂场景下的目标分割问题，并且使用了更简单的记忆机制和实例理解逻辑。

关键设计：WarpFormer使用了一个通用的预训练光流估计网络，例如RAFT或PWC-Net。扭曲模块使用双线性插值来实现像素级别的扭曲。分割掩码细化模块可以使用卷积神经网络或Transformer来实现。分割掩码融合模块可以使用加权平均或注意力机制来实现。损失函数通常包括分割损失（例如交叉熵损失）和一致性损失（例如Dice损失）。

📊 实验亮点

WarpFormer在DAVIS 2016/2017验证集上分别取得了93.0%和85.9%的性能，在DAVIS 2017 test-dev集上取得了80.6%的性能，在YouTube-VOS 2019验证集上取得了83.8%的性能。这些结果表明，WarpFormer在性能上与最先进的方法相当，同时使用了更简单的记忆机制和实例理解逻辑。

🎯 应用场景

该研究成果可应用于智能视频监控、自动驾驶、视频编辑、增强现实等领域。例如，在自动驾驶中，可以利用该技术对道路上的车辆、行人等目标进行准确分割，提高驾驶安全性。在视频编辑中，可以用于对视频中的特定目标进行编辑和特效处理。未来，该技术有望进一步发展，实现对更复杂场景和目标的精确分割。

📄 摘要（原文）

In this paper, we show that transferring knowledge from other domains of video understanding combined with large-scale learning can improve robustness of Video Object Segmentation (VOS) under complex circumstances. Namely, we focus on integrating scene global motion knowledge to improve large-scale semi-supervised Video Object Segmentation. Prior works on VOS mostly rely on direct comparison of semantic and contextual features to perform dense matching between current and past frames, passing over actual motion structure. On the other hand, Optical Flow Estimation task aims to approximate the scene motion field, exposing global motion patterns which are typically undiscoverable during all pairs similarity search. We present WarpFormer, an architecture for semi-supervised Video Object Segmentation that exploits existing knowledge in motion understanding to conduct smoother propagation and more accurate matching. Our framework employs a generic pretrained Optical Flow Estimation network whose prediction is used to warp both past frames and instance segmentation masks to the current frame domain. Consequently, warped segmentation masks are refined and fused together aiming to inpaint occluded regions and eliminate artifacts caused by flow field imperfects. Additionally, we employ novel large-scale MOSE 2023 dataset to train model on various complex scenarios. Our method demonstrates strong performance on DAVIS 2016/2017 validation (93.0% and 85.9%), DAVIS 2017 test-dev (80.6%) and YouTube-VOS 2019 validation (83.8%) that is competitive with alternative state-of-the-art methods while using much simpler memory mechanism and instance understanding logic.