Dense Monocular Motion Segmentation Using Optical Flow and Pseudo Depth Map: A Zero-Shot Approach
作者: Yuxiang Huang, Yuhao Chen, John Zelek
分类: cs.CV, cs.RO
发布日期: 2024-06-27
备注: For the offical publication, see https://crv.pubpub.org/pub/iunjzl55
期刊: Proceedings of the 21st Conference on Robots and Vision (2024)
💡 一句话要点
提出一种基于光流和伪深度图的零样本单目运动分割方法
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 运动分割 单目视觉 光流 深度估计 零样本学习
📋 核心要点
- 单目运动分割面临相机运动未知和缺乏场景深度信息的挑战，传统光流方法难以捕捉物体级信息，易导致过分割或欠分割。
- 该方法利用基础模型生成物体提议，并结合光流和单目深度估计得到的深度图，作为运动线索进行聚类，实现零样本运动分割。
- 实验结果表明，该方法在DAVIS-Moving和YTVOS-Moving数据集上，性能优于现有无监督方法，并接近最先进的监督方法。
📝 摘要（中文）
本文提出了一种创新的混合方法，用于解决单目运动分割问题，即从单个移动相机分割运动物体。该方法无需任何训练数据，结合了深度学习和传统光流方法的优势。首先，利用基础模型自动生成每帧的物体提议。然后，使用光流和相对深度图作为运动线索，将这些提议聚类成不同的运动组。通过单目深度估计模型获得的深度图，显著增强了光流提供的运动线索，尤其是在处理运动视差问题时。在DAVIS-Moving和YTVOS-Moving数据集上的评估结果表明，该方法优于最佳的无监督方法，并与最先进的监督方法相近。
🔬 方法详解
问题定义：论文旨在解决单目视觉下的运动分割问题，即在仅有一个移动相机的情况下，将图像中不同运动状态的物体分割出来。现有方法，如基于光流的传统方法，容易受到深度变化和非刚性运动的影响，导致分割效果不佳。而基于深度学习的方法，无论是监督还是无监督，都需要大量的训练数据，限制了其应用。
核心思路：论文的核心思路是结合深度学习的物体提议能力和传统光流方法的运动感知能力，同时引入单目深度估计提供的深度信息，以增强运动线索。通过这种混合方法，可以在不需要任何训练数据的情况下，实现鲁棒的运动分割。
技术框架：该方法主要包含以下几个阶段：1) 使用预训练的基础模型（Foundation Model）自动生成每帧图像的物体提议（Object Proposals）。2) 利用光流算法计算图像中像素的运动矢量。3) 使用单目深度估计模型生成伪深度图，提供场景的深度信息。4) 将光流和相对深度图作为运动线索，使用聚类算法将物体提议分组到不同的运动组中。
关键创新：该方法最重要的创新点在于将深度学习的物体提议能力和传统光流方法的运动感知能力相结合，并引入单目深度估计提供的深度信息，从而在不需要任何训练数据的情况下，实现了高性能的运动分割。与现有方法相比，该方法不需要训练数据，并且能够更好地处理复杂的场景和运动。
关键设计：论文中使用了预训练的Foundation Model来生成物体提议，具体模型选择未明确说明。光流算法的选择也未明确说明，但常见的光流算法如Farneback或RAFT均可使用。单目深度估计模型同样未明确指定，但需要选择性能较好的模型以保证深度图的质量。聚类算法的选择也未明确说明，但常用的聚类算法如K-means或谱聚类均可使用。关键在于如何有效地融合光流和深度信息，可能需要对光流和深度图进行归一化和加权处理。
🖼️ 关键图片
📊 实验亮点
该方法在DAVIS-Moving和YTVOS-Moving数据集上进行了评估，实验结果表明，该方法在零样本设置下，性能优于现有的最佳无监督方法，并且与最先进的监督方法性能相近。这表明该方法具有很强的泛化能力和实用价值。
🎯 应用场景
该研究成果可应用于自动驾驶、机器人导航、视频监控等领域。在自动驾驶中，可以帮助车辆识别和分割运动的行人、车辆等目标，提高驾驶安全性。在机器人导航中，可以帮助机器人理解周围环境的运动状态，从而更好地规划路径。在视频监控中，可以用于检测异常运动行为。
📄 摘要（原文）
Motion segmentation from a single moving camera presents a significant challenge in the field of computer vision. This challenge is compounded by the unknown camera movements and the lack of depth information of the scene. While deep learning has shown impressive capabilities in addressing these issues, supervised models require extensive training on massive annotated datasets, and unsupervised models also require training on large volumes of unannotated data, presenting significant barriers for both. In contrast, traditional methods based on optical flow do not require training data, however, they often fail to capture object-level information, leading to over-segmentation or under-segmentation. In addition, they also struggle in complex scenes with substantial depth variations and non-rigid motion, due to the overreliance of optical flow. To overcome these challenges, we propose an innovative hybrid approach that leverages the advantages of both deep learning methods and traditional optical flow based methods to perform dense motion segmentation without requiring any training. Our method initiates by automatically generating object proposals for each frame using foundation models. These proposals are then clustered into distinct motion groups using both optical flow and relative depth maps as motion cues. The integration of depth maps derived from state-of-the-art monocular depth estimation models significantly enhances the motion cues provided by optical flow, particularly in handling motion parallax issues. Our method is evaluated on the DAVIS-Moving and YTVOS-Moving datasets, and the results demonstrate that our method outperforms the best unsupervised method and closely matches with the state-of-theart supervised methods.