First RAG, Second SEG: A Training-Free Paradigm for Camouflaged Object Detection

📄 arXiv: 2508.15313v2 📥 PDF

作者: Wutao Liu, YiDan Wang, Pan Gao

分类: cs.CV, cs.AI

发布日期: 2025-08-21 (更新: 2025-09-15)

🔗 代码/项目: GITHUB

💡 一句话要点

提出RAG-SEG免训练框架，解决伪装目标检测中prompt生成难题，实现高性能与高效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 伪装目标检测 免训练学习 检索增强生成 Segment Anything Model 无监督聚类

📋 核心要点

  1. 现有伪装目标检测方法依赖大量训练和计算资源，且基于SAM的方法需要人工设计高质量prompt，成本高昂。
  2. RAG-SEG框架通过检索增强生成粗糙掩码作为prompt，再利用SAM进行分割细化，无需训练即可实现高性能。
  3. 实验表明，RAG-SEG在基准数据集上达到或超过SOTA性能，且所有实验在个人笔记本电脑上完成，验证了其高效性。

📝 摘要（中文）

伪装目标检测(COD)由于目标与其背景之间的高度相似性，是计算机视觉领域的一项重大挑战。现有方法通常依赖于大量的训练和计算资源。虽然诸如Segment Anything Model (SAM)等基础模型提供了强大的泛化能力，但它们在没有微调的情况下仍然难以处理COD任务，并且需要高质量的提示才能产生良好的性能。然而，手动生成这些提示既昂贵又低效。为了应对这些挑战，我们提出了一种免训练范式First RAG, Second SEG (RAG-SEG)，该范式将COD解耦为两个阶段：检索增强生成(RAG)用于生成粗糙的掩码作为提示，然后是基于SAM的分割(SEG)用于细化。RAG-SEG通过无监督聚类构建了一个紧凑的检索数据库，从而实现了快速有效的特征检索。在推理过程中，检索到的特征产生伪标签，引导SAM生成精确的掩码。我们的方法消除了传统训练的需要，同时保持了具有竞争力的性能。在基准COD数据集上的大量实验表明，RAG-SEG的性能与最先进的方法相当或超过了它们。值得注意的是，所有实验都是在个人笔记本电脑上进行的，突出了我们方法的计算效率和实用性。我们在附录中提供了进一步的分析，包括局限性、显著目标检测扩展和可能的改进。

🔬 方法详解

问题定义：伪装目标检测旨在识别并分割与背景高度相似的目标，现有方法通常需要大量的标注数据和计算资源进行训练，且泛化能力有限。即使利用预训练的SAM模型，也需要人工设计高质量的prompt，这既耗时又需要专业知识。因此，如何降低对训练数据的依赖，并自动生成有效的prompt，是该领域面临的关键问题。

核心思路：RAG-SEG的核心思路是将伪装目标检测任务分解为两个阶段：首先利用检索增强生成(RAG)模块生成粗糙的掩码，作为SAM的prompt；然后，利用SAM对粗糙掩码进行细化，得到最终的分割结果。通过这种方式，避免了直接训练COD模型，并实现了prompt的自动生成。

技术框架：RAG-SEG框架主要包含两个阶段：RAG阶段和SEG阶段。RAG阶段首先构建一个紧凑的检索数据库，该数据库通过对训练集特征进行无监督聚类得到。在推理时，对于每个输入图像，RAG模块从数据库中检索最相关的特征，并基于检索到的特征生成伪标签，作为SAM的prompt。SEG阶段则利用SAM对RAG阶段生成的prompt进行细化，得到最终的分割结果。

关键创新：RAG-SEG的关键创新在于提出了一个免训练的伪装目标检测框架，该框架通过RAG模块自动生成SAM所需的prompt，从而避免了人工设计prompt的需要。此外，RAG-SEG框架通过构建紧凑的检索数据库，实现了高效的特征检索，降低了计算成本。

关键设计：RAG阶段的关键设计包括：1) 使用无监督聚类算法构建紧凑的检索数据库；2) 设计合适的特征提取器，用于提取图像的特征；3) 设计相似度度量函数，用于衡量输入图像与数据库中特征的相似度。SEG阶段则直接利用预训练的SAM模型，无需进行额外的训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RAG-SEG在多个基准COD数据集上取得了与SOTA方法相当甚至更优的性能，证明了其有效性。值得注意的是，所有实验均在个人笔记本电脑上完成，突显了该方法的计算效率和实用性。这表明RAG-SEG在资源受限的环境下也具有很强的竞争力。

🎯 应用场景

RAG-SEG框架可应用于智能监控、医学图像分析、遥感图像处理等领域，用于检测和分割隐藏在复杂背景中的目标。该方法无需训练，降低了部署成本，具有广泛的应用前景。未来，可以进一步探索RAG-SEG在其他视觉任务中的应用，例如显著性目标检测、图像编辑等。

📄 摘要（原文）

Camouflaged object detection (COD) poses a significant challenge in computer vision due to the high similarity between objects and their backgrounds. Existing approaches often rely on heavy training and large computational resources. While foundation models such as the Segment Anything Model (SAM) offer strong generalization, they still struggle to handle COD tasks without fine-tuning and require high-quality prompts to yield good performance. However, generating such prompts manually is costly and inefficient. To address these challenges, we propose \textbf{First RAG, Second SEG (RAG-SEG)}, a training-free paradigm that decouples COD into two stages: Retrieval-Augmented Generation (RAG) for generating coarse masks as prompts, followed by SAM-based segmentation (SEG) for refinement. RAG-SEG constructs a compact retrieval database via unsupervised clustering, enabling fast and effective feature retrieval. During inference, the retrieved features produce pseudo-labels that guide precise mask generation using SAM2. Our method eliminates the need for conventional training while maintaining competitive performance. Extensive experiments on benchmark COD datasets demonstrate that RAG-SEG performs on par with or surpasses state-of-the-art methods. Notably, all experiments are conducted on a \textbf{personal laptop}, highlighting the computational efficiency and practicality of our approach. We present further analysis in the Appendix, covering limitations, salient object detection extension, and possible improvements. \textcolor{blue} {Code: https://github.com/Lwt-diamond/RAG-SEG.}