LLMSeg: Training-Free Text-Prompted Image Segmentation with B-Splines

📄 arXiv: 2610.29409v1 📥 PDF

作者: Abdullah Hamdi

分类: cs.CV, cs.AI

发布日期: 2026-10-21

备注: preprint

💡 一句话要点

提出LLMSeg以实现无训练的文本提示图像分割

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像分割 多模态学习 无训练方法 B样条 文本提示 开放词汇 大型语言模型

📋 核心要点

  1. 现有的分割模型如SAM 3需要专门的架构和大量标注，限制了其通用性。
  2. LLMSeg提出了一种无训练的分割方法，通过多模态大型语言模型直接进行图像分割，简化了流程。
  3. 在多个数据集上，LLMSeg的性能与专业模型相当，且在ReasonSeg上表现出71.5的cIoU，显示出其有效性。

📝 摘要（中文）

LLMSeg是一种无训练的图像分割管道，利用多模态大型语言模型（MLLM）直接进行文本提示的图像分割。该方法分为三个阶段：首先，检测阶段根据自由形式的文本查询定位所有实例并描述其粗略形态；其次，分割阶段使用闭合周期B样条在检测框内追踪每个实例；最后，迭代精细化阶段围绕残差错误提出聚焦框并重新追踪B样条。实验结果表明，LLMSeg在多个数据集上表现优异，尤其在ReasonSeg验证集上达到71.5的cIoU，且无需额外的分割特定训练。

🔬 方法详解

问题定义：现有的图像分割方法通常依赖于专门的架构和大量的标注数据，导致其在开放词汇任务中的应用受到限制。LLMSeg旨在解决这一问题，通过无训练的方式实现文本提示的图像分割。

核心思路：LLMSeg的核心思路是利用多模态大型语言模型（MLLM）直接进行图像分割，而不需要额外的分割头或解码器。通过将分割过程分解为三个阶段，LLMSeg能够高效地处理图像分割任务。

技术框架：LLMSeg的整体架构包括三个主要阶段：检测阶段负责定位实例并描述其形态；分割阶段使用闭合周期B样条在检测框内进行实例追踪；迭代精细化阶段则通过提出聚焦框和重新追踪B样条来修正残差。

关键创新：LLMSeg的主要创新在于其无训练的分割方法，利用MLLM直接进行图像分割，避免了传统方法中对专门架构和大量标注的依赖。这一方法在开放词汇分割任务中展现出强大的能力。

关键设计：在设计上，LLMSeg采用了闭合周期B样条来定义实例的外边界和可选的孔环，确保了分割的精确性。同时，模型的迭代精细化过程能够有效减少残差，提高最终的分割质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，LLMSeg在ReasonSeg验证集上达到了71.5的cIoU，表现优于许多专业分割模型。与SAM 3模型相比，LLMSeg在相同数据集上展现出竞争力，且无需额外的分割特定训练，显示出其高效性和实用性。

🎯 应用场景

LLMSeg的研究成果在多个领域具有广泛的应用潜力，包括自动驾驶、医疗影像分析和智能监控等。其无训练的特性使得该方法能够快速适应不同的任务和数据集，降低了部署成本，提升了应用的灵活性和效率。

📄 摘要（原文）

Promptable segmentation models such as SAM 3 achieve remarkable open-vocabulary performance but require dedicated architectures, large-scale annotation engines, and task-specific training. We ask a different question: can a general-purpose multimodal large language model (MLLM) segment images directly, without an added segmentation head, mask decoder, or training? We present LLMSeg, a training-free pipeline that turns a vision-capable LLM into a text-prompted image segmenter. LLMSeg decomposes segmentation into three LLM-driven stages. First, detect localizes all instances matching a free-form text query and describes their coarse morphology. Next, segment traces each instance using closed periodic B-splines confined to its detected box. These splines define an outer boundary and optional hole loops. Finally, refine iteratively proposes focus boxes around residual errors and retraces confined splines. The process ends when the mask stabilizes or the pass budget is exhausted. The output is a binary mask with inspectable intermediate geometry. We evaluate LLMSeg across ten referring and reasoning segmentation splits (ReasonSeg and RefCOCO/+/g). We also evaluate open-vocabulary instance segmentation (LVIS, COCO, and SA-Co), semantic segmentation, and zero-shot detection (ODinW13 and RF-100VL). With an off-the-shelf Gemini-3.7-Flash backend, LLMSeg is competitive with and often surpasses the specialist SAM 3 model on identical items. It reaches 71.5 cIoU on ReasonSeg val without additional segmentation-specific training. Backend model updates can improve accuracy without retraining the pipeline. The code is available at https://abdullahamdi.com/llmseg .