SegLLM: Multi-round Reasoning Segmentation

📄 arXiv: 2410.18923v2 📥 PDF

作者: XuDong Wang, Shaolun Zhang, Shufan Li, Konstantinos Kallidromitis, Kehan Li, Yusuke Kato, Kazuki Kozuka, Trevor Darrell

分类: cs.CV, cs.AI

发布日期: 2024-10-24 (更新: 2024-10-31)

备注: 22 pages, 10 figures, 11 tables

💡 一句话要点

SegLLM：提出一种多轮交互推理分割模型，利用对话记忆增强LLM分割能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多轮交互 推理分割 大型语言模型 视觉语言模型 对话记忆

📋 核心要点

  1. 现有基于LLM的分割方法难以处理复杂用户意图和多轮交互中的关系推理。
  2. SegLLM通过整合视觉和文本对话记忆，实现跨多轮交互的复杂关系推理分割。
  3. 实验表明，SegLLM在多轮交互分割任务上显著优于现有方法，并在单轮任务上也有提升。

📝 摘要（中文）

本文提出了一种名为SegLLM的新型多轮交互推理分割模型，该模型通过利用视觉和文本输出的对话记忆来增强基于LLM的分割能力。SegLLM利用具有掩码感知能力的多模态LLM，将之前的分割结果重新整合到输入流中，使其能够推理复杂的用户意图，并根据先前识别的实体（包括位置、交互和层级关系）在多次交互中分割对象。这种能力使SegLLM能够以类似聊天的形式响应视觉和文本查询。在最新策划的MRSeg基准测试中，SegLLM在多轮交互推理分割方面优于现有方法20%以上。此外，我们观察到，在多轮推理分割数据上进行训练可以提高标准单轮指代分割和定位任务的性能，从而使指代表达式分割的cIoU提高5.5%，指代表达式定位的Acc@0.5提高4.5%。

🔬 方法详解

问题定义：现有的基于LLM的分割方法在处理需要多轮交互和复杂推理的分割任务时存在局限性。它们难以有效地利用历史信息，无法理解用户在多轮对话中表达的复杂意图，例如对象之间的位置关系、交互关系和层级关系。这些方法通常只能进行单轮的指代分割，无法实现真正的交互式分割。

核心思路：SegLLM的核心思路是利用大型语言模型（LLM）的强大推理能力，并结合视觉信息和历史对话记忆，实现多轮交互式的分割。通过将之前的分割结果和用户输入的文本信息整合到LLM的输入中，SegLLM可以理解用户在多轮对话中表达的复杂意图，并根据先前识别的实体进行推理，从而实现更准确和灵活的分割。

技术框架：SegLLM的整体架构包含以下几个主要模块：1) 视觉编码器：用于提取输入图像的视觉特征。2) 文本编码器：用于编码用户输入的文本信息。3) 多模态LLM：用于融合视觉特征、文本信息和历史对话记忆，进行推理和分割。4) 分割解码器：用于将LLM的输出转换为分割掩码。在每一轮交互中，SegLLM首先使用视觉编码器和文本编码器分别提取图像和文本的特征，然后将这些特征与历史对话记忆一起输入到多模态LLM中。LLM根据这些信息进行推理，并生成分割掩码。最后，SegLLM将分割掩码反馈给用户，并将其添加到历史对话记忆中，以便在下一轮交互中使用。

关键创新：SegLLM的关键创新在于其能够利用多模态LLM进行多轮交互推理分割。与现有的方法相比，SegLLM能够更好地理解用户在多轮对话中表达的复杂意图，并根据先前识别的实体进行推理。此外，SegLLM还能够将之前的分割结果重新整合到输入流中，从而实现更准确和灵活的分割。

关键设计：SegLLM的关键设计包括：1) 使用具有掩码感知能力的多模态LLM，使其能够更好地理解分割掩码的信息。2) 设计了一种新的损失函数，用于训练SegLLM进行多轮交互推理分割。3) 使用了一种新的数据增强方法，用于生成更多的多轮交互推理分割数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SegLLM在MRSeg基准测试中，多轮交互推理分割性能超越现有方法20%以上。同时，在标准单轮指代分割和定位任务上，SegLLM的训练也带来了显著的性能提升，指代表达式分割的cIoU提高了5.5%，指代表达式定位的Acc@0.5提高了4.5%。这些结果表明，SegLLM不仅在多轮交互任务上表现出色，而且具有良好的泛化能力。

🎯 应用场景

SegLLM具有广泛的应用前景，例如图像编辑、机器人导航、医学图像分析等。在图像编辑中，用户可以通过多轮交互指定需要编辑的对象，并进行精细的调整。在机器人导航中，机器人可以通过与用户的对话理解用户的指令，并进行准确的路径规划。在医学图像分析中，医生可以通过多轮交互识别病灶，并进行精确的测量和诊断。SegLLM的未来发展方向包括提高模型的推理能力、扩展模型的应用领域等。

📄 摘要（原文）

We present SegLLM, a novel multi-round interactive reasoning segmentation model that enhances LLM-based segmentation by exploiting conversational memory of both visual and textual outputs. By leveraging a mask-aware multimodal LLM, SegLLM re-integrates previous segmentation results into its input stream, enabling it to reason about complex user intentions and segment objects in relation to previously identified entities, including positional, interactional, and hierarchical relationships, across multiple interactions. This capability allows SegLLM to respond to visual and text queries in a chat-like manner. Evaluated on the newly curated MRSeg benchmark, SegLLM outperforms existing methods in multi-round interactive reasoning segmentation by over 20%. Additionally, we observed that training on multi-round reasoning segmentation data enhances performance on standard single-round referring segmentation and localization tasks, resulting in a 5.5% increase in cIoU for referring expression segmentation and a 4.5% improvement in Acc@0.5 for referring expression localization.