DSV-LFS: Unifying LLM-Driven Semantic Cues with Visual Features for Robust Few-Shot Segmentation

📄 arXiv: 2503.04006v1 📥 PDF

作者: Amin Karimi, Charalambos Poullis

分类: cs.CV, cs.LG

发布日期: 2025-03-06

🔗 代码/项目: GITHUB

💡 一句话要点

DSV-LFS：融合LLM语义提示与视觉特征，提升小样本分割的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 小样本分割 大型语言模型 语义提示 视觉特征 密集匹配

📋 核心要点

  1. 现有小样本分割方法在泛化性上存在不足，尤其当支持集图像无法覆盖目标类别的全部外观变化时。
  2. DSV-LFS利用LLM生成语义提示，并结合视觉特征匹配生成视觉提示，共同指导分割，提升模型性能。
  3. 在Pascal-$5^{i}$和COCO-$20^{i}$数据集上，DSV-LFS取得了显著的性能提升，展示了其优越的泛化能力。

📝 摘要（中文）

小样本语义分割(FSS)旨在仅使用少量标注样本，使模型能够分割新的/未见过的对象类别。然而，由于特征表示的不完整和偏差，当前的FSS方法在泛化方面经常遇到困难，尤其是在支持图像未能捕捉到目标类别的完整外观变化时。为了改进FSS流程，我们提出了一个新颖的框架，该框架利用大型语言模型(LLM)来使通用类语义信息适应查询图像。此外，该框架采用密集的像素级匹配来识别查询图像和支持图像之间的相似性，从而提高FSS性能。受基于推理的分割框架的启发，我们的方法DSV-LFS在LLM词汇表中引入了一个额外的token，允许多模态LLM从类描述中生成“语义提示”。同时，密集匹配模块识别查询图像和支持图像之间的视觉相似性，生成“视觉提示”。然后，这些提示被共同用于指导基于提示的解码器，以实现对查询图像的准确分割。在基准数据集Pascal-$5^{i}$和COCO-$20^{i}$上的综合实验表明，我们的框架取得了显著的state-of-the-art性能，证明了对新类的卓越泛化能力和在各种场景中的鲁棒性。

🔬 方法详解

问题定义：小样本语义分割旨在利用少量标注样本分割未见过的类别。现有方法在特征表示上存在不足，无法充分捕捉目标类别的外观变化，导致泛化能力受限。尤其是在支持集图像信息不完整时，分割性能会显著下降。

核心思路：论文的核心思路是结合大型语言模型(LLM)的语义理解能力和视觉特征的像素级匹配能力，生成互补的语义提示和视觉提示，从而更全面地理解目标类别，提升分割的准确性和鲁棒性。通过LLM引入先验知识，弥补视觉特征的不足。

技术框架：DSV-LFS框架包含以下主要模块：1) LLM语义提示生成模块：利用LLM从类别描述中生成语义提示。2) 密集视觉匹配模块：通过像素级匹配，识别查询图像和支持图像之间的视觉相似性，生成视觉提示。3) 基于提示的解码器：将语义提示和视觉提示融合，指导解码器进行像素级别的分割。整体流程是从类别描述和支持图像中提取信息，生成提示，然后利用提示指导分割。

关键创新：该方法最重要的创新点在于将大型语言模型引入小样本分割任务，并设计了一种有效的提示融合机制。通过LLM，模型可以获取更丰富的语义信息，从而更好地理解目标类别。此外，视觉提示的引入增强了模型对局部细节的感知能力。与现有方法相比，DSV-LFS能够更好地利用类别描述信息，并将其与视觉特征相结合。

关键设计：DSV-LFS在LLM的词汇表中添加了一个额外的token，用于生成语义提示。密集匹配模块采用像素级的相似度计算，以捕捉细粒度的视觉相似性。解码器采用基于提示的结构，能够有效地融合语义提示和视觉提示。具体的损失函数和网络结构细节在论文中进行了详细描述（未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DSV-LFS在Pascal-$5^{i}$和COCO-$20^{i}$数据集上取得了state-of-the-art的性能。相较于现有方法，DSV-LFS在泛化能力和鲁棒性方面均有显著提升。具体提升幅度未知，但摘要中提到是“by a significant margin”，表明性能提升显著。实验结果证明了LLM语义提示和视觉特征融合的有效性。

🎯 应用场景

DSV-LFS在医疗图像分析、遥感图像解译、自动驾驶等领域具有广泛的应用前景。例如，在医疗图像分析中，可以利用少量标注的病灶图像，分割新的病灶类型。在遥感图像解译中，可以识别新的地物类别。在自动驾驶中，可以识别新的交通参与者。该研究有助于降低标注成本，提高分割模型的泛化能力。

📄 摘要（原文）

Few-shot semantic segmentation (FSS) aims to enable models to segment novel/unseen object classes using only a limited number of labeled examples. However, current FSS methods frequently struggle with generalization due to incomplete and biased feature representations, especially when support images do not capture the full appearance variability of the target class. To improve the FSS pipeline, we propose a novel framework that utilizes large language models (LLMs) to adapt general class semantic information to the query image. Furthermore, the framework employs dense pixel-wise matching to identify similarities between query and support images, resulting in enhanced FSS performance. Inspired by reasoning-based segmentation frameworks, our method, named DSV-LFS, introduces an additional token into the LLM vocabulary, allowing a multimodal LLM to generate a "semantic prompt" from class descriptions. In parallel, a dense matching module identifies visual similarities between the query and support images, generating a "visual prompt". These prompts are then jointly employed to guide the prompt-based decoder for accurate segmentation of the query image. Comprehensive experiments on the benchmark datasets Pascal-$5^{i}$ and COCO-$20^{i}$ demonstrate that our framework achieves state-of-the-art performance-by a significant margin-demonstrating superior generalization to novel classes and robustness across diverse scenarios. The source code is available at \href{https://github.com/aminpdik/DSV-LFS}{https://github.com/aminpdik/DSV-LFS}