Propagating Semantic Labels in Video Data

📄 arXiv: 2310.00783v1 📥 PDF

作者: David Balaban, Justin Medich, Pranay Gosar, Justin Hart

分类: cs.CV

发布日期: 2023-10-01

💡 一句话要点

提出视频数据语义标签传播方法以减少手动标注工作量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频语义分割 基础模型 运动结构 对象跟踪 计算效率 手动标注减少

📋 核心要点

  1. 现有的语义分割方法在处理视频数据时，手动标注工作量大且效率低下。
  2. 本文提出的方法通过结合SAM与SfM，实现了对象分割结果在视频帧间的传播，降低了手动标注的需求。
  3. 实验结果显示，该系统在计算时间上显著优于人工标注，但在性能上仍有待提升。

📝 摘要（中文）

语义分割结合了像素级图像掩膜识别和语义标签应用两个子任务。近年来，基础模型的引入使得在大规模数据集上训练的通用模型能够被专门化应用于更具体的任务。本文提出了一种在视频中进行对象分割的方法，通过将Segment Anything Model（SAM）与运动结构（SfM）结合，能够在视频帧中找到对象后，将分割结果传播到后续帧，从而减少手动标注的工作量。该方法首先利用SfM将视频输入重建为3D几何体，然后使用SAM对视频帧进行分割，最后将SAM识别的分段投影到重建的3D几何体上。实验结果表明，该系统在跟踪视频帧中的对象时，计算时间显著优于人工性能，但在性能上存在一定的不足。

🔬 方法详解

问题定义：本文旨在解决视频数据中对象分割的手动标注工作量大、效率低的问题。现有方法在处理视频时需要频繁的手动标注，导致效率低下。

核心思路：论文提出通过结合SAM与SfM的方法，在视频中找到对象后，将分割结果传播到后续帧，从而减少对SAM的调用次数，降低手动标注的需求。

技术框架：整体流程包括三个主要阶段：首先利用SfM将视频输入重建为3D几何体；其次使用SAM对单帧视频进行分割；最后将分割结果投影到重建的3D几何体上，并在后续帧中进行重投影。

关键创新：最重要的创新点在于将SAM与SfM结合，利用3D几何体的重建实现了分割结果的传播，显著提高了处理效率。与现有方法相比，该方法减少了对SAM的多次调用。

关键设计：在技术细节上，系统设计了合适的参数设置以优化SAM的性能，并通过精确的3D重建提高了分割的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该系统在跟踪对象时的计算时间显著优于人工标注，具体表现为在多个视频帧中减少了对SAM的调用次数，提升了处理效率，但在性能上仍存在一定的不足。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、机器人视觉等场景，能够有效减少人工标注的工作量，提高视频数据处理的效率。未来，该方法有望在实时视频分析和智能监控系统中发挥重要作用。

📄 摘要（原文）

Semantic Segmentation combines two sub-tasks: the identification of pixel-level image masks and the application of semantic labels to those masks. Recently, so-called Foundation Models have been introduced; general models trained on very large datasets which can be specialized and applied to more specific tasks. One such model, the Segment Anything Model (SAM), performs image segmentation. Semantic segmentation systems such as CLIPSeg and MaskRCNN are trained on datasets of paired segments and semantic labels. Manual labeling of custom data, however, is time-consuming. This work presents a method for performing segmentation for objects in video. Once an object has been found in a frame of video, the segment can then be propagated to future frames; thus reducing manual annotation effort. The method works by combining SAM with Structure from Motion (SfM). The video input to the system is first reconstructed into 3D geometry using SfM. A frame of video is then segmented using SAM. Segments identified by SAM are then projected onto the the reconstructed 3D geometry. In subsequent video frames, the labeled 3D geometry is reprojected into the new perspective, allowing SAM to be invoked fewer times. System performance is evaluated, including the contributions of the SAM and SfM components. Performance is evaluated over three main metrics: computation time, mask IOU with manual labels, and the number of tracking losses. Results demonstrate that the system has substantial computation time improvements over human performance for tracking objects over video frames, but suffers in performance.