Skip the Talk, Re-Focus on Vision: Latent Reasoning for Reasoning Segmentation in Multimodal Large Language Models

📄 arXiv: 2609.30783v1 📥 PDF

作者: Tianhang Guo, Yulin He, Wei Chen, Wenjuan Zhou, Yuhang Li, Xinbiao Gan

分类: cs.CV, cs.AI

发布日期: 2026-09-25

💡 一句话要点

提出LIRSeg以解决多模态大语言模型中的推理分割问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推理分割 多模态大语言模型 潜在标记 空间对齐 信息增强机制

📋 核心要点

  1. 现有方法依赖显式的思维链进行推理，导致注意力干扰和视觉标记之间的有效距离增加。
  2. LIRSeg通过引入可学习的潜在标记替代显式推理，采用两阶段训练策略以优化分割效果。
  3. 实验结果表明，LIRSeg在ReasonSeg、MUSE和MMR上分别提升了4.9%、7.1%和4.7%的gIoU，同时推理标记减少约16倍。

📝 摘要（中文）

推理分割旨在解释隐含的文本查询并实现细粒度的视觉感知，这对人机交互和具身智能体等应用至关重要。现有方法通常通过多模态大语言模型生成显式的思维链（CoT），但这种显式推理引入了显著的注意力干扰。为了解决这一问题，本文提出了LIRSeg，完全用一组可学习的潜在标记替代显式CoT。LIRSeg经过两个阶段的训练：空间对齐将潜在标记与对象相关的视觉证据对齐，GRPO进一步通过分割奖励优化这些标记。通过引入极端优势采样、解耦的探索-稳定更新和潜在多样性放大等机制，LIRSeg在多个基准测试中显著提升了分割准确性和推理效率。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在推理分割任务中因显式思维链引起的注意力干扰问题。现有方法生成的冗余文本标记会影响视觉标记的生成和定位。

核心思路：LIRSeg通过引入一组可学习的潜在标记，替代显式的思维链，从而减少注意力干扰，提高推理效率和分割准确性。

技术框架：LIRSeg的训练分为两个阶段：第一阶段是空间对齐，将潜在标记与视觉证据对齐；第二阶段是GRPO，通过分割奖励进一步优化潜在标记。

关键创新：LIRSeg的核心创新在于用潜在标记替代显式推理，显著降低了推理过程中的注意力干扰，并通过信息视角引入了多种机制以增强潜在标记的有效性。

关键设计：在训练过程中，采用极端优势采样选择信息丰富的训练信号，解耦的探索-稳定更新用于学习互补表示，以及潜在多样性放大以防止表示崩溃。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

LIRSeg在多个基准测试中表现优异，相较于VisionReasoner基线，在ReasonSeg上提升了4.9%的gIoU，在MUSE上提升了7.1%，在MMR上提升了4.7%。同时，推理标记数量减少约16倍，显著提高了推理效率。

🎯 应用场景

该研究在多模态人机交互、具身智能体和视觉理解等领域具有广泛的应用潜力。通过提高推理分割的准确性和效率，LIRSeg能够提升智能系统在复杂环境中的决策能力和交互体验，推动相关技术的实际应用和发展。

📄 摘要（原文）

Reasoning segmentation aims to interpret implicit textual queries and enable fine-grained visual perception, which is critical for applications such as human-computer interaction and embodied agents. Existing methods typically generate explicit Chain-of-Thought (CoT) by multimodal large language models (MLLMs) before localizing the target. Although intuitive, such explicit verbal reasoning introduces substantial attention interference: redundant textual tokens disrupt attention during perception-token generation and also increase the effective distance between visual tokens. To address this issue, we propose LIRSeg, which fully replaces explicit CoT with a compact set of learnable latent tokens for reasoning segmentation. LIRSeg is trained in two stages: spatial alignment grounds the latent tokens in object-relevant visual evidence, and GRPO further optimizes them with segmentation rewards. To make these compact latent tokens more informative, we introduce three complementary mechanisms from an information perspective: extreme-advantage sampling for selecting informative training signals, decoupled exploration-stability updates for learning complementary representations, and latent diversity amplification for preventing representational collapse. Extensive experiments on benchmarks demonstrate that LIRSeg consistently improves both segmentation accuracy and reasoning efficiency. Compared with the VisionReasoner baseline, LIRSeg achieves absolute gIoU improvements of 4.9% on ReasonSeg, 7.1% on MUSE, and 4.7% on MMR, while achieving a approximately 16x reduction in reasoning tokens. Code is available in supplementary materials.