Causal Prompt Calibration Guided Segment Anything Model for Open-Vocabulary Multi-Entity Segmentation

📄 arXiv: 2505.06524v1 📥 PDF

作者: Jingyao Wang, Jianqi Zhang, Wenwen Qiang, Changwen Zheng

分类: cs.CV

发布日期: 2025-05-10

💡 一句话要点

提出因果提示校准的CPC-SAM模型，解决SAM在开放词汇多实体分割中的泛化问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇分割 多实体分割 因果推断 提示学习 分割一切模型

📋 核心要点

  1. 现有SAM模型在开放词汇多实体分割任务中泛化能力不足，主要原因是提示偏差带来的混淆因素。
  2. 论文提出因果提示校准方法CPC-SAM，通过学习因果提示来消除混淆因素，提升模型泛化能力。
  3. 实验结果表明，CPC-SAM在开放词汇多实体分割任务上显著优于现有方法，验证了其有效性。

📝 摘要（中文）

尽管分割一切模型(SAM)表现出色，但在开放词汇多实体分割(OVMS)中仍存在泛化问题。通过实证和因果分析，我们发现(i)提示偏差是泛化问题的主要原因；(ii)这种偏差与提示中任务无关的生成因素密切相关，这些因素充当混淆因素并影响泛化。为了解决泛化问题，我们提出了一种校准提示的方法，以消除混淆因素，从而实现准确的OVMS。基于因果分析，我们认为OVMS的最佳提示应仅包含任务相关的因果因素，并将其定义为因果提示，作为校准的目标。接下来，我们的理论分析基于因果多分布一致性理论，证明可以通过强制分割一致性和最优性来获得此提示。受此启发，我们提出了CPC-SAM，一种用于SAM的因果提示校准方法，以实现准确的OVMS。它将轻量级的因果提示学习器(CaPL)集成到SAM中以获得因果提示。具体来说，我们首先使用随机注释生成多个提示来模拟不同的分布，然后通过CaPL重新加权这些提示，从而在任务和实体级别上强制执行因果多分布一致性。为了确保获得因果提示，通过最小化重新加权提示中的累积分割损失来优化CaPL，以实现一致性和最优性。双层优化策略在优化CaPL和SAM之间交替进行，从而确保准确的OVMS。大量的实验验证了其优越性。

🔬 方法详解

问题定义：论文旨在解决开放词汇多实体分割（OVMS）任务中，由于Segment Anything Model (SAM)的提示偏差导致的泛化能力不足的问题。现有的方法容易受到提示中任务无关因素的干扰，导致分割精度下降，尤其是在处理未见过的类别和复杂场景时。

核心思路：论文的核心思路是通过因果干预，校准SAM的输入提示，使其仅包含与任务相关的因果因素，从而消除混淆因素的影响，提高模型的泛化能力。具体来说，就是学习一种“因果提示”，这种提示能够引导SAM关注图像中真正与分割目标相关的特征。

技术框架：CPC-SAM的整体框架包括：1) 使用随机注释生成多个提示，模拟不同的数据分布；2) 引入因果提示学习器（CaPL），对这些提示进行重加权，以强制执行因果多分布一致性；3) 通过最小化重加权提示的分割损失，优化CaPL，使其能够生成因果提示；4) 使用双层优化策略，交替优化CaPL和SAM，最终实现准确的OVMS。

关键创新：论文的关键创新在于：1) 首次从因果推断的角度分析了SAM在OVMS任务中的泛化问题，并指出提示偏差是主要原因；2) 提出了因果提示的概念，并设计了相应的学习方法CaPL，用于生成因果提示；3) 提出了基于因果多分布一致性的优化目标，用于指导CaPL的学习。

关键设计：CaPL是一个轻量级的网络，用于学习提示的权重。损失函数包括分割损失和一致性损失，分割损失用于保证分割的准确性，一致性损失用于保证不同提示之间的分割结果一致。双层优化策略中，外层循环优化SAM，内层循环优化CaPL。具体参数设置和网络结构细节在论文中有详细描述，但摘要中未提及。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过大量实验验证了CPC-SAM的优越性。具体性能数据和对比基线在摘要中未给出，但强调了CPC-SAM在开放词汇多实体分割任务上显著优于现有方法，证明了因果提示校准的有效性。

🎯 应用场景

该研究成果可应用于智能安防、自动驾驶、医学图像分析等领域，提升图像分割的准确性和鲁棒性。通过消除提示偏差，可以使模型更好地适应复杂场景和未见过的物体类别，具有重要的实际应用价值和潜在的商业前景。

📄 摘要（原文）

Despite the strength of the Segment Anything Model (SAM), it struggles with generalization issues in open-vocabulary multi-entity segmentation (OVMS). Through empirical and causal analyses, we find that (i) the prompt bias is the primary cause of the generalization issues; (ii) this bias is closely tied to the task-irrelevant generating factors within the prompts, which act as confounders and affect generalization. To address the generalization issues, we aim to propose a method that can calibrate prompts to eliminate confounders for accurate OVMS. Building upon the causal analysis, we propose that the optimal prompt for OVMS should contain only task-relevant causal factors. We define it as the causal prompt, serving as the goal of calibration. Next, our theoretical analysis, grounded by causal multi-distribution consistency theory, proves that this prompt can be obtained by enforcing segmentation consistency and optimality. Inspired by this, we propose CPC-SAM, a Causal Prompt Calibration method for SAM to achieve accurate OVMS. It integrates a lightweight causal prompt learner (CaPL) into SAM to obtain causal prompts. Specifically, we first generate multiple prompts using random annotations to simulate diverse distributions and then reweight them via CaPL by enforcing causal multi-distribution consistency in both task and entity levels. To ensure obtaining causal prompts, CaPL is optimized by minimizing the cumulative segmentation loss across the reweighted prompts to achieve consistency and optimality. A bi-level optimization strategy alternates between optimizing CaPL and SAM, ensuring accurate OVMS. Extensive experiments validate its superiority.