Tarot-SAM3: Training-free SAM3 for Any Referring Expression Segmentation

📄 arXiv: 2604.07916v1 📥 PDF

作者: Weiming Zhang, Dingwen Xiao, Songyue Guo, Guangyu Xiang, Shiqi Wen, Minwei Zhao, Lei Chen, Lin Wang

分类: cs.CV

发布日期: 2026-04-09

备注: Under review

💡 一句话要点

提出Tarot-SAM3，一种无需训练的SAM3框架，用于任意指代表达式分割。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指代表达式分割 零样本学习 SAM3 多模态融合 视觉语言理解

📋 核心要点

  1. 现有指代表达式分割方法依赖大量标注数据，且难以泛化到各种显式或隐式表达，限制了其应用。
  2. Tarot-SAM3通过表达式推理解释器（ERI）和掩码自细化（MSR）两个阶段，实现无需训练的指代表达式分割。
  3. 实验表明，Tarot-SAM3在显式和隐式RES基准以及开放世界场景中表现出色，验证了各阶段的有效性。

📝 摘要（中文）

指代表达式分割（RES）旨在分割由自然语言表达式描述的图像区域，充当视觉和语言理解之间的桥梁。然而，现有的RES方法严重依赖于大型标注数据集，并且仅限于显式或隐式表达式，从而限制了它们泛化到任何指代表达式的能力。最近，Segment Anything Model 3 (SAM3) 在可提示概念分割方面表现出了令人印象深刻的鲁棒性。然而，将其应用于RES仍然具有挑战性：（1）SAM3难以处理较长或隐式的表达式；（2）SAM3与多模态大型语言模型（MLLM）的简单耦合使得最终结果过度依赖于MLLM的推理能力，而无法改进SAM3的分割输出。为此，我们提出了Tarot-SAM3，这是一个新颖的无需训练的框架，可以从任何指代表达式中准确地进行分割。具体来说，Tarot-SAM3由两个关键阶段组成。首先，表达式推理解释器（ERI）阶段引入了推理辅助提示选项，以支持结构化表达式解析和评估感知重述。这会将任意查询转换为鲁棒的异构提示，以使用SAM3生成可靠的掩码。其次，掩码自细化（MSR）阶段选择跨提示类型的最佳掩码，并通过利用来自DINOv3的丰富特征关系来比较ERI输出中的判别区域，从而执行自细化。然后，它推断区域与目标的隶属关系，从而纠正过度分割和欠分割。大量的实验表明，Tarot-SAM3在显式和隐式RES基准以及开放世界场景中都取得了强大的性能。消融研究进一步验证了每个阶段的有效性。

🔬 方法详解

问题定义：论文旨在解决指代表达式分割（RES）问题，即根据自然语言描述分割图像中的对应区域。现有方法依赖大量标注数据，且对显式和隐式表达的泛化能力有限。直接将SAM3与MLLM结合，结果过度依赖MLLM的推理能力，无法有效利用SAM3的分割能力。

核心思路：Tarot-SAM3的核心思路是利用SAM3强大的分割能力，同时克服其对长文本和隐式表达的不足。通过表达式推理和掩码自细化，将任意指代表达式转化为SAM3可用的鲁棒提示，并对分割结果进行优化，从而实现无需训练的指代表达式分割。

技术框架：Tarot-SAM3包含两个主要阶段：表达式推理解释器（ERI）和掩码自细化（MSR）。ERI阶段负责将指代表达式转化为SAM3可用的提示，包括结构化解析和评估感知重述。MSR阶段则选择最佳掩码，并利用DINOv3的特征进行自细化，纠正分割错误。

关键创新：Tarot-SAM3的关键创新在于其无需训练的设计，以及ERI和MSR两个阶段的协同作用。ERI通过推理辅助提示选项，增强了SAM3对复杂表达式的处理能力。MSR则通过自细化，有效提升了分割精度，克服了直接使用MLLM的局限性。

关键设计：ERI阶段设计了推理辅助提示选项，具体实现方式未知。MSR阶段利用DINOv3提取图像特征，通过比较不同提示生成的掩码的判别区域，推断区域与目标的隶属关系，从而进行分割修正。具体的参数设置、损失函数和网络结构等技术细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Tarot-SAM3在显式和隐式RES基准以及开放世界场景中取得了强大的性能，无需任何训练。消融实验验证了ERI和MSR两个阶段的有效性，表明该框架的各个组成部分都对最终性能做出了贡献。具体的性能数据和对比基线未知。

🎯 应用场景

Tarot-SAM3可应用于智能图像编辑、人机交互、视觉问答、机器人导航等领域。它能够理解自然语言指令，精确分割图像区域，从而实现更智能、更灵活的应用。该研究有望推动视觉和语言理解的融合，促进人工智能技术的发展。

📄 摘要（原文）

Referring Expression Segmentation (RES) aims to segment image regions described by natural-language expressions, serving as a bridge between vision and language understanding. Existing RES methods, however, rely heavily on large annotated datasets and are limited to either explicit or implicit expressions, hindering their ability to generalize to any referring expression. Recently, the Segment Anything Model 3 (SAM3) has shown impressive robustness in Promptable Concept Segmentation. Nonetheless, applying it to RES remains challenging: (1) SAM3 struggles with longer or implicit expressions; (2) naive coupling of SAM3 with a multimodal large language model (MLLM) makes the final results overly dependent on the MLLM's reasoning capability, without enabling refinement of SAM3's segmentation outputs. To this end, we present Tarot-SAM3, a novel training-free framework that can accurately segment from any referring expression. Specifically, Tarot-SAM3 consists of two key phases. First, the Expression Reasoning Interpreter (ERI) phase introduces reasoning-assisted prompt options to support structured expression parsing and evaluation-aware rephrasing. This transforms arbitrary queries into robust heterogeneous prompts for generating reliable masks with SAM3. Second, the Mask Self-Refining (MSR) phase selects the best mask across prompt types and performs self-refinement by leveraging rich feature relationships from DINOv3 to compare discriminative regions among ERI outputs. It then infers region affiliation to the target, thereby correcting over- and under-segmentation. Extensive experiments demonstrate that Tarot-SAM3 achieves strong performance on both explicit and implicit RES benchmarks, as well as open-world scenarios. Ablation studies further validate the effectiveness of each phase.