Seg-Agent: Test-Time Multimodal Reasoning for Training-Free Language-Guided Segmentation
作者: Chao Hao, Jun Xu, Ji Du, Shuo Ye, Ziyue Qiao, Xiaodong Cun, Guangcong Wang, Xubin Zheng, Zitong Yu
分类: cs.CV, cs.AI
发布日期: 2026-05-13
💡 一句话要点
提出Seg-Agent，实现无需训练的测试时多模态推理语言引导分割
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言引导分割 多模态推理 无需训练 视觉提示 大语言模型
📋 核心要点
- 现有语言引导分割方法依赖大量训练数据，且MLLM的空间定位能力有限，导致分割精度受限。
- Seg-Agent通过显式多模态链式推理，使MLLM能够直接在视觉空间中进行迭代推理，无需训练即可实现高性能。
- 提出的Various-LangSeg基准全面评估了模型在不同场景下的泛化能力，实验结果验证了Seg-Agent的有效性和鲁棒性。
📝 摘要（中文）
本文提出Seg-Agent，一个完全无需训练的框架，用于语言引导的分割，它开创性地使用了显式多模态链式推理。不同于以往的纯文本推理，Seg-Agent构建了一个交互式的视觉推理循环，包含生成、选择和细化三个阶段。具体来说，利用Set-of-Mark (SoM)视觉提示将候选区域直接渲染到图像上，使多模态大语言模型(MLLM)能够“看到”并迭代地推理视觉领域的空间关系，而不仅仅是文本。这种显式的多模态交互使得Seg-Agent在没有任何参数更新的情况下，实现了与最先进的基于训练的方法相当的性能。此外，为了全面评估跨不同场景的泛化能力，本文引入了Various-LangSeg，这是一个涵盖显式语义、通用对象和推理引导分割任务的新基准。大量的实验证明了该方法的有效性和鲁棒性。
🔬 方法详解
问题定义：现有语言引导分割方法通常采用两阶段框架，即使用MLLM解释指令并生成视觉提示，然后使用基础分割模型（如SAM）生成掩码。然而，由于现成的MLLM的空间定位能力有限，这些方法通常依赖于大规模数据集上的大量训练才能获得令人满意的精度。即使最近的进展引入了推理机制来提高性能，它们也主要在文本领域内运行，仅基于抽象的文本表示执行思维链推理，而没有直接的视觉反馈。
核心思路：Seg-Agent的核心思路是构建一个显式的多模态链式推理循环，让MLLM能够直接在视觉空间中进行推理，从而克服了传统方法中MLLM空间定位能力不足的问题。通过将候选区域渲染到图像上，MLLM可以“看到”并迭代地推理空间关系，而不仅仅依赖于文本信息。
技术框架：Seg-Agent框架包含三个主要阶段：生成、选择和细化。在生成阶段，使用Set-of-Mark (SoM)视觉提示将候选区域渲染到图像上。在选择阶段，MLLM根据视觉信息和语言指令选择最合适的候选区域。在细化阶段，对选定的区域进行进一步的优化，以生成最终的分割掩码。整个过程形成一个交互式的视觉推理循环。
关键创新：Seg-Agent最重要的技术创新点在于其显式的多模态链式推理机制。与以往的纯文本推理方法不同，Seg-Agent允许MLLM直接在视觉空间中进行推理，从而能够更准确地理解语言指令并生成高质量的分割掩码。此外，Seg-Agent完全无需训练，这使得它更易于部署和应用。
关键设计：Seg-Agent的关键设计包括Set-of-Mark (SoM)视觉提示的使用，以及生成、选择和细化三个阶段的迭代推理过程。SoM提示允许MLLM直接观察候选区域，从而更好地理解空间关系。生成阶段产生多个候选区域，选择阶段利用MLLM的推理能力选择最佳候选区域，细化阶段进一步优化分割结果。具体的参数设置和网络结构取决于所使用的MLLM和基础分割模型。
🖼️ 关键图片
📊 实验亮点
Seg-Agent在无需任何训练的情况下，在语言引导分割任务上取得了与最先进的基于训练的方法相当的性能。此外，在提出的Various-LangSeg基准测试中，Seg-Agent表现出良好的泛化能力和鲁棒性，证明了其在不同场景下的有效性。具体性能数据和对比基线在论文中有详细展示。
🎯 应用场景
Seg-Agent在机器人导航、自动驾驶、医学图像分析、图像编辑等领域具有广泛的应用前景。例如，在机器人导航中，可以通过自然语言指令引导机器人分割目标区域，从而实现更智能的交互。在医学图像分析中，可以根据医生的描述分割病灶区域，辅助诊断。该研究降低了语言引导分割对训练数据的依赖，使得相关技术更容易部署到实际应用中。
📄 摘要（原文）
Language-guided segmentation transcends the scope limitations of traditional semantic segmentation, enabling models to segment arbitrary target regions based on natural language instructions. Existing approaches typically adopt a two-stage framework: employing Multimodal Large Language Models (MLLMs) to interpret instructions and generate visual prompts, followed by foundational segmentation models (e.g., SAM) to produce masks. However, due to the limited spatial grounding capabilities of off-the-shelf MLLMs, these methods often rely on extensive training on large-scale datasets to achieve satisfactory accuracy. While recent advances have introduced reasoning mechanisms to improve performance, they predominantly operate within the textual domain, performing chain-of-thought reasoning solely based on abstract text representations without direct visual feedback. In this paper, we propose Seg-Agent, a completely training-free framework that pioneers Explicit Multimodal Chain-of-Reasoning. Unlike prior text-only reasoning, our approach constructs an interactive visual reasoning loop comprising three stages: generation, selection, and refinement. Specifically, we leverage Set-of-Mark (SoM) visual prompting to render candidate regions directly onto the image, allowing the MLLM to ``see'' and iteratively reason about spatial relationships in the visual domain rather than just the textual one. This explicit multimodal interaction enables Seg-Agent to achieve performance comparable to state-of-the-art training-based methods without any parameter updates. Furthermore, to comprehensively evaluate generalization across diverse scenarios, we introduce Various-LangSeg, a novel benchmark covering explicit semantic, generic object, and reasoning-guided segmentation tasks. Extensive experiments demonstrate the effectiveness and robustness of our method.