ZS-VCOS: Zero-Shot Video Camouflaged Object Segmentation By Optical Flow and Open Vocabulary Object Detection

📄 arXiv: 2505.01431v2 📥 PDF

作者: Wenqi Guo, Mohamed Shehata, Shan Du

分类: cs.CV

发布日期: 2025-04-10 (更新: 2025-07-18)

🔗 代码/项目: GITHUB

💡 一句话要点

提出ZS-VCOS，利用光流和开放词汇目标检测实现零样本视频伪装目标分割

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 零样本学习 视频分割 伪装目标分割 光流估计 开放词汇目标检测 预训练模型 SAM

📋 核心要点

  1. 伪装目标分割因目标与背景高度相似而极具挑战，现有方法依赖有监督或无监督预训练，零样本方法发展滞后。
  2. ZS-VCOS利用光流提取时间信息，结合预训练的SAM-2和Owl-v2，构建模块化流程，无需训练即可实现有效分割。
  3. 在MoCA-Mask数据集上，ZS-VCOS显著超越现有零样本和有监督方法，F-measure从0.296/0.476提升至0.628。

📝 摘要（中文）

伪装目标分割相比传统分割任务面临独特的挑战，主要原因是伪装对象与其背景在模式和颜色上高度相似。有效解决此问题对于害虫控制、缺陷检测和医学影像中的病灶分割等关键领域具有重要意义。以往的研究主要侧重于有监督或无监督的预训练方法，而零样本方法的发展严重不足。现有的零样本技术通常以自动模式使用Segment Anything Model (SAM)或依赖视觉-语言模型来生成分割线索；然而，由于伪装对象和背景的相似性，它们的性能仍然不令人满意。本研究探讨了如何通过将SAM-2和Owl-v2等大型预训练模型与时间信息集成到模块化流程中来避免训练。在MoCA-Mask数据集上评估，我们的方法取得了显著的性能提升，显著优于现有的零样本方法，将F-measure ($F_β^w$)从0.296提高到0.628。我们的方法也超过了有监督的方法，将F-measure从0.476提高到0.628。此外，在MoCA-Filter数据集上的评估表明，与FlowSAM（一种有监督的迁移方法）相比，成功率从0.628提高到0.697。彻底的消融研究进一步验证了每个组件的独立贡献。除了我们的主要贡献外，我们还强调了先前工作在指标和设置方面的不一致之处。代码可在https://github.com/weathon/vcos找到。

🔬 方法详解

问题定义：论文旨在解决零样本视频伪装目标分割问题。现有方法要么依赖大量标注数据进行训练，要么在零样本场景下性能不佳，无法有效区分与背景高度相似的伪装目标。现有零样本方法如直接使用SAM或依赖视觉-语言模型生成线索，分割效果不理想。

核心思路：论文的核心思路是利用视频中的时间信息（光流）来辅助区分伪装目标和背景，并结合强大的预训练模型（SAM-2和Owl-v2）的先验知识，构建一个无需训练的模块化分割流程。通过光流提取运动信息，可以突出显示运动的伪装目标，从而降低与背景的相似度。

技术框架：ZS-VCOS的整体框架包含以下几个主要模块：1) 光流估计模块：用于提取视频帧之间的光流信息，捕捉目标的运动特征。2) 开放词汇目标检测模块：使用Owl-v2等模型检测视频帧中的潜在目标，提供语义信息。3) SAM分割模块：利用SAM-2对检测到的目标进行分割，生成候选分割掩码。4) 融合模块：将光流信息和SAM分割结果进行融合，得到最终的分割结果。

关键创新：该方法最重要的创新在于将光流信息引入到零样本伪装目标分割任务中。通过光流，可以有效区分静态背景和动态伪装目标，从而提高分割的准确性。此外，该方法充分利用了预训练模型的强大能力，避免了从头开始训练模型的需要。

关键设计：光流估计采用成熟的算法（具体算法未知，论文中可能未明确指出）。Owl-v2用于提供初始的目标检测结果，SAM-2则基于这些检测结果生成分割掩码。融合模块的具体实现方式（例如，如何将光流信息与SAM的分割结果进行加权融合）未知，可能使用了启发式规则或可学习的融合策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ZS-VCOS在MoCA-Mask数据集上取得了显著的性能提升，F-measure ($F_β^w$)从现有零样本方法的0.296提高到0.628，甚至超过了有监督方法的0.476。在MoCA-Filter数据集上，成功率从FlowSAM（一种有监督的迁移方法）的0.628提高到0.697。消融实验验证了各个模块的有效性。

🎯 应用场景

该研究成果可应用于多个领域，如农业中的害虫检测与防治，工业制造中的产品缺陷检测，以及医学影像分析中的病灶分割。零样本特性使其在缺乏标注数据的场景下具有显著优势，降低了应用成本，加速了相关领域的智能化进程。未来可进一步扩展到其他类型的视频分割任务中。

📄 摘要（原文）

Camouflaged object segmentation presents unique challenges compared to traditional segmentation tasks, primarily due to the high similarity in patterns and colors between camouflaged objects and their backgrounds. Effective solutions to this problem have significant implications in critical areas such as pest control, defect detection, and lesion segmentation in medical imaging. Prior research has predominantly emphasized supervised or unsupervised pre-training methods, leaving zero-shot approaches significantly underdeveloped. Existing zero-shot techniques commonly utilize the Segment Anything Model (SAM) in automatic mode or rely on vision-language models to generate cues for segmentation; however, their performances remain unsatisfactory, due to the similarity of the camouflaged object and the background. This work studies how to avoid training by integrating large pre-trained models like SAM-2 and Owl-v2 with temporal information into a modular pipeline. Evaluated on the MoCA-Mask dataset, our approach achieves outstanding performance improvements, significantly outperforming existing zero-shot methods by raising the F-measure ($F_β^w$) from 0.296 to 0.628. Our approach also surpasses supervised methods, increasing the F-measure from 0.476 to 0.628. Additionally, evaluation on the MoCA-Filter dataset demonstrates an increase in the success rate from 0.628 to 0.697 when compared with FlowSAM, a supervised transfer method. A thorough ablation study further validates the individual contributions of each component. Besides our main contributions, we also highlight inconsistencies in previous work regarding metrics and settings. Code can be found in https://github.com/weathon/vcos.