REBASE: Reference-Background Subspace Elimination for Training-Free In-Context Segmentation

📄 arXiv: 2607.09082v1 📥 PDF

作者: Mantha Sai Gopal, Jaison Saji Chacko, Harsh Nandwana, Sandesh Hegde, Debarshi Banerjee, Uma Mahesh

分类: cs.CV

发布日期: 2026-07-10

💡 一句话要点

提出REBASE以解决训练无关的上下文分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文分割 训练无关 语义匹配 低秩特征 图像处理 自动驾驶 医疗图像分析

📋 核心要点

  1. 现有训练无关的上下文分割方法在处理共享背景时，容易导致非目标区域的相似性过高，从而影响定位精度。
  2. REBASE通过识别参考图像的低秩背景特征子空间，抑制虚假上下文对应，提升语义匹配的准确性。
  3. 在PACO-Part、FSS-1000及ISIC2018等数据集上，REBASE在训练无关方法中取得了新的最佳性能，显示出其有效性。

📝 摘要（中文）

训练无关的上下文分割允许在推理时从单个标注参考图像引入新对象类别，消除了类增量学习的再训练和内存开销。现有方法通过结合视觉基础模型和可提示分割网络实现，但由于参考图像和查询图像之间的共享上下文背景，导致非目标区域的相似性被系统性提升，从而降低了提示定位的准确性。为此，本文提出REBASE框架，明确抑制这些虚假的上下文对应关系。该方法识别参考图像的低秩背景特征子空间，并将参考和查询特征投影到其正交补空间，从而实现更清晰的语义匹配。通过相似性加权的最远点采样生成正点提示，结合精炼的密集相似性先验，REBASE在多个数据集上实现了训练无关方法的新状态，证明了显式背景子空间移除的有效性。

🔬 方法详解

问题定义：本文旨在解决训练无关的上下文分割中，由于参考图像和查询图像之间共享背景而导致的非目标区域相似性过高的问题。这种现象会降低分割模型的定位精度。

核心思路：REBASE的核心思路是通过识别参考图像的低秩背景特征子空间，显式抑制虚假上下文对应，从而实现更清晰的语义匹配。该设计旨在减少背景对目标区域的干扰，提高分割精度。

技术框架：REBASE的整体架构包括几个主要模块：首先，识别参考图像的低秩背景特征子空间；其次，将参考和查询特征投影到该子空间的正交补；最后，通过相似性加权的最远点采样生成正点提示，结合精炼的密集相似性先验。

关键创新：REBASE的主要创新在于显式背景子空间移除的策略，这与现有方法依赖于图像间相似性映射的方式有本质区别。通过这种方法，REBASE能够有效减少背景对目标区域的干扰。

关键设计：在实现过程中，REBASE采用了相似性加权的最远点采样技术，以确保生成的正点提示具有较高的代表性。此外，密集相似性先验的精炼也为分割提供了更为准确的上下文信息。该方法不需要任何训练或参数更新，直接在推理阶段进行优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

REBASE在PACO-Part、FSS-1000和ISIC2018等数据集上实现了训练无关方法的新状态，展示了其在一-shot定位任务中的优越性。具体而言，该方法在多个基准测试中超越了现有技术，提升幅度显著，证明了显式背景子空间移除的有效性。

🎯 应用场景

REBASE的研究成果在多个领域具有广泛的应用潜力，尤其是在需要快速适应新对象类别的场景中，如自动驾驶、机器人视觉和医疗图像分析等。通过消除背景干扰，该方法能够提高分割精度，降低模型更新的复杂性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Training-free in-context segmentation enables new object categories to be introduced at inference time from a single annotated reference image, eliminating the retraining and memory overhead of class-incremental learning. Recent approaches achieve this by combining vision foundation models for semantic correspondence with promptable segmentation networks like SAM. However, their performance is fundamentally limited by the quality of the cross-image similarity map; shared contextual backgrounds between the reference and query systematically elevate similarity in non-target regions, degrading prompt localization. We present REBASE, a training-free framework that explicitly suppresses these spurious contextual correspondences. Our method identifies the low-rank background feature subspace from the reference image and project the reference and query features onto its orthogonal complement in closed form, yielding cleaner semantic matching. We then generate positive point prompts using similarity-weighted farthest-point sampling, paired with a refined dense similarity prior. Without any training or parameter updates, our approach establishes a new state of the art among training-free methods on PACO-Part, FSS-1000, and cross-domain datasets such as ISIC2018, demonstrating that explicit background subspace removal is a highly effective principle for one-shot localization.