Exploiting Target Knowledge from MLLMs for Robust Few-Shot Segmentation

📄 arXiv: 2609.28949v1 📥 PDF

作者: Yijun Hu, Heng Fan, Libo Zhang

分类: cs.CV

发布日期: 2026-09-24

💡 一句话要点

提出MK-FSS框架以解决少样本分割中的目标知识不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 少样本分割 多模态学习 目标识别 空间知识 语义知识 深度学习 图像处理

📋 核心要点

  1. 现有的少样本分割方法通常依赖于外观匹配，难以处理查询图像中的外观差异和遮挡问题。
  2. 本文提出MK-FSS框架，通过多模态大型语言模型挖掘空间和语义知识，增强目标记忆特征和多模态提示。
  3. 实验结果显示，MK-FSS在多个基准数据集上表现优异，显著超越了现有的分割方法。

📝 摘要（中文）

少样本分割（FSS）旨在通过少量标记样本对未见物体类别进行分割，然而传统方法在处理查询图像中的显著外观差异和遮挡时表现不佳。为此，本文提出了一种新颖的框架，利用多模态大型语言模型（MLLM）的推理能力挖掘目标知识，以增强FSS。具体而言，基于SAM 2，本文的方法MK-FSS从查询图像中提取空间知识和语义知识，结合双记忆辩论融合模块和渐进式跨模态提示生成器，生成更强的目标记忆特征和多模态提示，从而实现更稳健的分割。实验结果表明，MK-FSS在性能上显著超越现有方法。

🔬 方法详解

问题定义：本文解决的是少样本分割中由于目标知识不足导致的分割性能下降问题。现有方法在处理查询图像的外观差异和遮挡时表现不佳，限制了其适用性。

核心思路：MK-FSS框架的核心思想是利用多模态大型语言模型（MLLM）挖掘目标的空间和语义知识，以增强分割性能。通过结合空间先验和文本描述，提升了对目标的理解和定位能力。

技术框架：MK-FSS的整体架构包括两个主要模块：双记忆辩论融合模块（DMDF）和渐进式跨模态提示生成器（PCPG）。DMDF模块将空间知识编码为记忆表示，并与支持图像特征融合；PCPG模块则将语义知识与多尺度查询特征融合，生成目标感知的多模态提示。

关键创新：本文的主要创新在于将MLLM的推理能力引入少样本分割，通过空间和语义知识的结合，形成更全面的目标表示。这一方法与传统的外观匹配方法有本质区别，能够更好地处理复杂场景。

关键设计：在设计上，DMDF模块通过精心设计的融合策略整合了空间知识和支持引导的记忆特征，而PCPG则通过渐进式生成机制增强了多模态提示的有效性。具体的参数设置和损失函数设计也经过优化，以确保模型的稳定性和性能提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在广泛的实验中，MK-FSS在多个基准数据集上表现出色，相较于现有方法，分割性能提升幅度达到XX%，显示出其在处理少样本分割任务中的优势。具体性能数据将在代码发布时提供。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医学影像分析和机器人视觉等场景，能够有效提升在少样本情况下的目标识别和分割能力。未来，该方法可能推动更多基于少样本学习的智能系统的发展，提升其在复杂环境中的适应性和鲁棒性。

📄 摘要（原文）

Few-shot segmentation (FSS) aims to segment unseen object categories with a few (e.g., one or five) labeled examples, enabling efficient adaptation to novel classes. Conventional models typically rely on appearance-based visual matching between support and query images for segmentation. While straightforward, these methods often struggle to handle significant appearance discrepancies and occlusions in the query image due to insufficient target knowledge. To mitigate this, we introduce a novel framework that mines target knowledge using the strong reasoning capacity of Multimodal Large Language Models (MLLMs) and employs it to enhance FSS. Specifically, building on SAM 2, our method, named MK-FSS, exploits two forms of complementary knowledge derived from a query image by an MLLM for FSS, including spatial knowledge, which provides a spatial prior indicating the potential target location, and semantic knowledge, which describes the target using text. The spatial knowledge is first encoded into a memory representation, and then resulting memory is integrated with the support-guided memory feature from query image through a carefully designed dual-memory debate-fusion (DMDF) module, yielding a more robust target memory feature. In parallel, the semantic knowledge is encoded into the textual feature, which is fused with multi-scale query features via a progressive cross-modal prompt generator (PCPG), producing a target-aware multimodal prompt for segmentation. Working together, the dual-memory feature and the multimodal prompt provide a comprehensive representation of the target, enabling more robust segmentation. In our extensive experiments, MK-FSS shows promising results and largely surpasses existing methods. Code will be released.