Continual Alignment for SAM: Rethinking Foundation Models for Medical Image Segmentation in Continual Learning

📄 arXiv: 2511.17201v1 📥 PDF

作者: Jiayi Wang, Wei Dai, Haoyu Wang, Sihan Yang, Haixia Bi, Jian Sun

分类: cs.CV

发布日期: 2025-11-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出CA-SAM，通过持续对齐策略提升SAM在医学图像分割中的持续学习能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像分割 持续学习 Segment Anything Model 灾难性遗忘 特征对齐

📋 核心要点

  1. 医学图像分割面临机构间数据隐私壁垒，联合训练受限，需要持续学习方法。
  2. 提出对齐层（Alignment Layer）以高效适配SAM到特定医学图像，平衡精度与计算。
  3. CA-SAM自动调整对齐层缓解灾难性遗忘，并利用SAM的零样本先验保持性能。

📝 摘要（中文）

在医学图像分割中，机构间异构的隐私策略使得联合数据集训练不可行，促使人们研究持续图像分割学习——从数据流中学习而不会发生灾难性遗忘。虽然Segment Anything Model (SAM)提供了强大的零样本先验，并已被广泛地微调以适应下游任务，但其庞大的参数量和计算开销对实际部署提出了挑战。本文证明，一旦SAM的计算效率和性能能够得到平衡，SAM范式就非常有前景。为此，我们引入了对齐层（Alignment Layer），这是一个轻量级的、即插即用的模块，用于对齐编码器-解码器特征分布，以有效地使SAM适应特定的医学图像，从而提高准确性并减少计算量。在SAM和对齐层的基础上，我们提出了一种用于SAM的持续对齐策略（CA-SAM），该策略自动调整适当的对齐层以减轻灾难性遗忘，同时利用SAM的零样本先验来保持在未见过的医学数据集上的强大性能。在持续学习场景下，对九个医学分割数据集进行的实验表明，CA-SAM实现了最先进的性能。我们的代码、模型和数据集将在https://github.com/azzzzyo/Continual-Alignment-for-SAM上发布。

🔬 方法详解

问题定义：医学图像分割任务中，由于不同机构的数据隐私限制，无法进行联合训练。现有的持续学习方法在应用于SAM时，由于SAM参数量巨大，微调成本高昂，且容易发生灾难性遗忘，导致模型在新任务上表现良好，但在旧任务上性能急剧下降。因此，如何在计算资源有限的情况下，使SAM能够持续学习新的医学图像分割任务，同时保持在先前任务上的性能，是一个亟待解决的问题。

核心思路：论文的核心思路是引入一个轻量级的对齐层（Alignment Layer），通过对齐编码器和解码器的特征分布，使得SAM能够快速适应新的医学图像分割任务。同时，设计一种持续学习策略（CA-SAM），自动选择合适的对齐层，以减轻灾难性遗忘，并利用SAM的零样本先验知识，保持模型在未见过的医学数据集上的泛化能力。

技术框架：CA-SAM的整体框架包括以下几个主要模块：1) SAM模型：作为基础分割模型，提供强大的零样本先验知识。2) 对齐层（Alignment Layer）：一个轻量级的、即插即用的模块，用于对齐编码器和解码器的特征分布。3) 持续学习策略：自动选择合适的对齐层，并采用一定的正则化方法，以减轻灾难性遗忘。整个流程是，当一个新的医学图像分割任务到来时，首先利用SAM的零样本先验进行初步分割，然后通过对齐层对SAM的特征进行微调，最后利用持续学习策略更新模型参数，并选择合适的对齐层。

关键创新：论文的关键创新在于提出了对齐层（Alignment Layer）和持续对齐策略（CA-SAM）。对齐层通过对齐编码器和解码器的特征分布，实现了SAM的快速适配，显著降低了计算成本。持续对齐策略通过自动选择合适的对齐层，并采用正则化方法，有效减轻了灾难性遗忘，提高了模型的持续学习能力。与现有方法相比，CA-SAM能够在计算资源有限的情况下，实现SAM在医学图像分割任务中的持续学习，并保持较高的分割精度和泛化能力。

关键设计：对齐层（Alignment Layer）的具体结构未知，但可以推测其可能包含一些可学习的参数，用于调整编码器和解码器的特征分布。持续学习策略的关键设计在于如何自动选择合适的对齐层，以及如何设计正则化方法以减轻灾难性遗忘。具体的参数设置、损失函数和网络结构等技术细节在论文中未详细描述，需要参考论文原文或代码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CA-SAM在九个医学分割数据集上进行了实验，结果表明，在持续学习场景下，CA-SAM取得了state-of-the-art的性能。具体的性能数据和对比基线未知，但可以确定的是，CA-SAM在分割精度和持续学习能力方面均优于现有方法，能够有效减轻灾难性遗忘，并保持较高的泛化能力。

🎯 应用场景

该研究成果可应用于医疗影像辅助诊断、手术导航、病灶检测等领域。通过持续学习，模型能够不断适应新的医学影像数据，提高诊断精度和效率，降低医疗成本。未来，该方法有望推广到其他医学影像分析任务，并与其他人工智能技术相结合，为医疗健康领域带来更广泛的应用。

📄 摘要（原文）

In medical image segmentation, heterogeneous privacy policies across institutions often make joint training on pooled datasets infeasible, motivating continual image segmentation-learning from data streams without catastrophic forgetting. While the Segment Anything Model (SAM) offers strong zero-shot priors and has been widely fine-tuned across downstream tasks, its large parameter count and computational overhead challenge practical deployment. This paper demonstrates that the SAM paradigm is highly promising once its computational efficiency and performance can be balanced. To this end, we introduce the Alignment Layer, a lightweight, plug-and-play module which aligns encoder-decoder feature distributions to efficiently adapt SAM to specific medical images, improving accuracy while reducing computation. Building on SAM and the Alignment Layer, we then propose Continual Alignment for SAM (CA-SAM), a continual learning strategy that automatically adapts the appropriate Alignment Layer to mitigate catastrophic forgetting, while leveraging SAM's zero-shot priors to preserve strong performance on unseen medical datasets. Experimented across nine medical segmentation datasets under continual-learning scenario, CA-SAM achieves state-of-the-art performance. Our code, models and datasets will be released on \mbox{https://github.com/azzzzyo/Continual-Alignment-for-SAM.}