Foundation Models for Amodal Video Instance Segmentation in Automated Driving
作者: Jasmin Breitenstein, Franz Jünger, Andreas Bär, Tim Fingscheidt
分类: cs.CV
发布日期: 2024-09-21
备注: accepted at ECCV VCAD Workshop 2024
🔗 代码/项目: GITHUB
💡 一句话要点
提出S-AModal，利用Foundation Model解决自动驾驶中Amodal视频实例分割问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Amodal视频实例分割 自动驾驶 Foundation Model Segment Anything Model 点跟踪 视频分割 实例分割
📋 核心要点
- 现有Amodal视频实例分割方法依赖大量标注数据，成本高昂，且分割与跟踪性能存在trade-off。
- 论文提出S-AModal方法，利用SAM的先验知识，通过微调和点跟踪，实现高效的Amodal视频实例分割。
- S-AModal在Amodal视频实例分割任务上取得了state-of-the-art的结果，无需Amodal视频标签。
📝 摘要（中文）
本文研究了自动驾驶中的Amodal视频实例分割。现有方法依赖于在完全标注的视频数据上训练的模型，并借鉴了标准视频实例分割的技术。然而，Amodal标注的视频数据获取困难且成本高昂，导致这些方法在实例分割和跟踪性能之间存在权衡。为了解决这个问题，我们提出利用Foundation Model来完成此任务。更准确地说，我们利用了Segment Anything Model (SAM)的广泛知识，并对其进行微调以适应Amodal实例分割任务。给定初始视频实例分割结果，我们从可见掩码中采样点来提示我们的Amodal SAM。我们使用点记忆来存储这些点。如果先前观察到的实例没有在后续帧中预测到，我们会从点记忆中检索其最近的点，并使用点跟踪方法将这些点跟踪到当前帧，以及相应的最后一个Amodal实例掩码。通过这种方式，在基于Amodal实例分割的基础上，我们仍然获得了视频级别的Amodal实例分割结果。我们提出的S-AModal方法在Amodal视频实例分割中实现了最先进的结果，同时解决了对Amodal视频标签的需求。S-AModal的代码可在https://github.com/ifnspaml/S-AModal获取。
🔬 方法详解
问题定义：论文旨在解决自动驾驶场景下的Amodal视频实例分割问题。现有的方法需要大量的Amodal标注视频数据进行训练，而这种数据的获取成本非常高。此外，这些方法通常需要在实例分割的准确性和跟踪的稳定性之间做出权衡，难以同时保证两方面的性能。
核心思路：论文的核心思路是利用预训练的Foundation Model，特别是Segment Anything Model (SAM)，来减少对大量Amodal标注数据的依赖。SAM在大量图像数据上进行了预训练，具备强大的分割能力。通过将SAM迁移到Amodal实例分割任务，并结合点跟踪技术，可以在很大程度上解决数据标注的难题，并提升分割和跟踪的性能。
技术框架：S-AModal方法的整体框架包括以下几个主要步骤：1) 首先，使用一个初始的视频实例分割方法获得初步的分割结果。2) 然后，从可见的掩码中采样一些点，作为SAM的prompt。3) 使用一个点记忆模块来存储这些点的信息。4) 如果在后续的帧中没有检测到某个实例，则从点记忆中检索该实例最近的点，并使用点跟踪算法将这些点跟踪到当前帧，同时结合该实例的最后一个Amodal掩码，作为SAM的输入。5) 最后，SAM根据这些信息生成当前帧的Amodal实例分割结果。
关键创新：该方法最重要的创新点在于将Foundation Model（SAM）引入到Amodal视频实例分割任务中。通过利用SAM强大的分割能力，可以显著减少对Amodal标注数据的需求。此外，结合点跟踪技术，可以有效地解决实例在视频中的遮挡和消失问题，从而提高跟踪的稳定性。
关键设计：论文的关键设计包括：1) 如何有效地利用SAM的prompt机制，选择合适的点作为输入。2) 如何设计点记忆模块，存储和检索实例的点信息。3) 如何选择合适的点跟踪算法，保证跟踪的准确性和鲁棒性。这些细节的设计直接影响着S-AModal方法的性能。
🖼️ 关键图片
📊 实验亮点
S-AModal方法在Amodal视频实例分割任务上取得了state-of-the-art的结果，证明了利用Foundation Model解决该问题的有效性。该方法显著降低了对Amodal标注数据的需求，解决了现有方法对大量标注数据的依赖问题。具体的性能数据和对比基线需要在论文中查找。
🎯 应用场景
该研究成果可广泛应用于自动驾驶领域，提升车辆对周围环境的感知能力，尤其是在复杂交通场景下对遮挡物体的识别和跟踪。例如，可以帮助车辆更好地识别被其他车辆或建筑物遮挡的行人、车辆和交通标志，从而提高驾驶安全性。此外，该方法还可以应用于机器人导航、视频监控等领域。
📄 摘要（原文）
In this work, we study amodal video instance segmentation for automated driving. Previous works perform amodal video instance segmentation relying on methods trained on entirely labeled video data with techniques borrowed from standard video instance segmentation. Such amodally labeled video data is difficult and expensive to obtain and the resulting methods suffer from a trade-off between instance segmentation and tracking performance. To largely solve this issue, we propose to study the application of foundation models for this task. More precisely, we exploit the extensive knowledge of the Segment Anything Model (SAM), while fine-tuning it to the amodal instance segmentation task. Given an initial video instance segmentation, we sample points from the visible masks to prompt our amodal SAM. We use a point memory to store those points. If a previously observed instance is not predicted in a following frame, we retrieve its most recent points from the point memory and use a point tracking method to follow those points to the current frame, together with the corresponding last amodal instance mask. This way, while basing our method on an amodal instance segmentation, we nevertheless obtain video-level amodal instance segmentation results. Our resulting S-AModal method achieves state-of-the-art results in amodal video instance segmentation while resolving the need for amodal video-based labels. Code for S-AModal is available at https://github.com/ifnspaml/S-AModal.