Visual Memory and Textual Alignment for Cross-Modal Few-Shot Segmentation

📄 arXiv: 2610.25641v1 📥 PDF

作者: Tianqi Wei, Zhi Chen, Xin Yu, Scott Chapman, Zi Huang

分类: cs.CV

发布日期: 2026-10-19

💡 一句话要点

提出ViTA-SAM以解决跨模态少样本分割问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 少样本分割 跨模态对齐 视觉记忆 文本特征 语义表示

📋 核心要点

  1. 现有方法在专业领域的语义提示和视觉表示之间对齐不足，导致性能受限。
  2. ViTA-SAM框架通过视觉记忆模块和跨模态对齐模块，增强了视觉和文本特征的结合。
  3. 在多个基准测试中，ViTA-SAM的平均mIoU比最强竞争方法提高了超过5%。

📝 摘要（中文）

少样本分割（FSS）旨在利用有限的标注样本对目标对象进行分割。近期研究开始探索大型基础模型以提高该任务的泛化能力。尽管SAM 3提供了强大的视觉表示并支持文本引导分割，但在专业领域中，其性能仍然有限。为了解决这一挑战，本文提出了ViTA-SAM框架，通过跨模态对齐整合视觉记忆和文本特征。具体而言，我们构建了一个视觉记忆模块，编码支持特征及其对应的掩码，为查询预测提供支持感知的视觉指导。同时，利用SAM 3的文本编码器提取语义特征作为补充先验。通过引入跨模态对齐模块，将文本特征与增强的视觉表示相结合，从而实现更一致且视觉基础的预测。实验结果表明，ViTA-SAM在多个基准测试中表现最佳，平均mIoU超过最强竞争方法5%。

🔬 方法详解

问题定义：本文旨在解决跨模态少样本分割中的语义提示与视觉表示对齐不足的问题。现有方法在专业领域的应用效果不佳，限制了其实际应用。

核心思路：ViTA-SAM框架通过构建视觉记忆模块和跨模态对齐模块，增强了视觉特征与文本特征的结合，从而提高了分割的准确性和一致性。

技术框架：整体架构包括视觉记忆模块、文本编码器和跨模态对齐模块。视觉记忆模块编码支持特征及其掩码，文本编码器提取语义特征，跨模态对齐模块则将文本特征与视觉表示结合。

关键创新：最重要的创新在于引入了视觉记忆模块和跨模态对齐模块，使得文本特征能够在视觉表示的基础上进行调整，从而实现更为一致的预测。

关键设计：在设计中，视觉记忆模块的参数设置和损失函数的选择至关重要，确保了支持特征与掩码的有效编码，同时优化了查询适应性表示学习。具体的网络结构和训练策略也经过精心设计，以提升整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ViTA-SAM在多个基准测试中表现出色，平均mIoU比最强竞争方法提高了超过5%。这一显著提升表明该框架在跨模态少样本分割任务中的有效性，展示了其在实际应用中的潜力。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、自动驾驶中的物体检测以及机器人视觉系统等。通过提高少样本分割的准确性，ViTA-SAM能够在数据稀缺的情况下，支持更为精确的目标识别和分割，具有重要的实际价值和未来影响。

📄 摘要（原文）

Few-shot segmentation (FSS) aims to segment target objects with limited annotated examples. Recent studies have begun to explore large foundation models to improve generalization for this task. In particular, SAM 3 provides strong visual representations and supports text-guided segmentation. However, its performance remains limited in specialized domains, where semantic prompts and visual representations are often poorly aligned. To address this challenge, we propose ViTA-SAM, a framework built upon SAM 3 that integrates visual memory and textual features through cross-modal alignment. Specifically, we construct a visual memory module that encodes support features together with their corresponding masks, providing support-aware visual guidance for query prediction. In parallel, we leverage the text encoder of SAM 3 to extract semantic features as complementary priors. To bridge the gap between semantic and visual representations, we introduce a cross-modal alignment module that conditions textual features on memory-enhanced visual representations, yielding more consistent and visually grounded predictions. In addition, we propose a pseudo-label refinement strategy that updates the memory with predicted query masks, enabling query-adaptive representation learning. Extensive experiments on multiple benchmarks show that ViTA-SAM achieves the best overall performance among the compared methods, outperforming the strongest competing method by over 5% in average mIoU.