Robust Grounding with MLLMs against Occlusion and Small Objects via Language-guided Semantic Cues

📄 arXiv: 2604.24036v1 📥 PDF

作者: Beomchan Park, Seongho Kim, Hyunjun Kim, Sungjune Park, Yong Man Ro

分类: cs.CV, eess.IV

发布日期: 2026-04-27

备注: 4 pages, 2 figures, ICASSP 2026

💡 一句话要点

提出语言引导语义线索，提升MLLM在遮挡和小物体场景下的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 大型语言模型 视觉Grounding 语义线索 遮挡处理

📋 核心要点

  1. 现有MLLM在拥挤场景下的grounding性能不足，主要原因是遮挡和小物体导致视觉语义信息退化。
  2. 论文提出利用语言引导的语义线索(LGSC)，从文本信息中提取语义先验，增强视觉pipeline中的对象语义。
  3. 实验结果表明，该方法能有效提升MLLM在拥挤场景下的grounding精度，验证了LGSC的有效性。

📝 摘要（中文）

多模态大型语言模型(MLLM)在通用场景下的grounding能力得到了显著提升，但其在拥挤场景中的鲁棒性仍有待探索。拥挤场景带来了视觉挑战，如遮挡和小物体，这会损害对象语义并降低grounding性能。相比之下，语言表达不受此类退化的影响，并能保留对象语义。基于这些观察，我们提出了一种新方法，通过利用语言引导的语义线索(LGSC)来克服这些限制。具体来说，我们的方法引入了一个语义线索提取器(SCE)，从MLLM的视觉pipeline中提取对象的语义线索。然后，我们使用相应的文本嵌入来引导这些线索，以生成LGSC作为语言语义先验。随后，它们被重新整合到原始视觉pipeline中，以细化对象语义。大量的实验和分析表明，将LGSC整合到MLLM中可以有效地提高拥挤场景中的grounding精度。

🔬 方法详解

问题定义：论文旨在解决多模态大型语言模型(MLLM)在拥挤场景下，由于遮挡和小物体导致的grounding性能下降问题。现有方法在处理此类场景时，视觉信息的缺失或模糊导致模型难以准确识别和定位目标对象，从而影响了grounding的准确性。

核心思路：论文的核心思路是利用语言的优势来弥补视觉信息的不足。语言表达不受遮挡和小物体的影响，能够提供清晰的对象语义信息。因此，论文提出通过语言引导的语义线索(LGSC)来增强视觉pipeline中的对象语义，从而提高grounding的鲁棒性。

技术框架：整体框架包含以下几个主要模块：1) MLLM的视觉pipeline，用于提取视觉特征；2) 语义线索提取器(SCE)，从视觉pipeline中提取对象的语义线索；3) 文本嵌入模块，用于提取文本的语义信息；4) LGSC生成模块，利用文本嵌入引导语义线索，生成LGSC；5) 特征融合模块，将LGSC重新整合到视觉pipeline中，以细化对象语义。

关键创新：论文的关键创新在于提出了语言引导的语义线索(LGSC)这一概念，并设计了相应的提取和融合方法。与现有方法相比，LGSC能够有效地利用语言信息来增强视觉语义，从而提高模型在复杂场景下的grounding能力。此外，SCE的设计也保证了语义线索的有效提取。

关键设计：语义线索提取器(SCE)的具体结构未知，但其目标是从MLLM的视觉pipeline中提取与对象相关的语义信息。文本嵌入模块可能采用预训练的语言模型，如BERT或CLIP。LGSC的生成过程可能涉及注意力机制或特征融合操作，以将文本嵌入的语义信息注入到视觉线索中。损失函数的设计可能包括grounding损失和语义一致性损失，以确保模型能够准确地定位目标对象，并保持视觉和语言语义的一致性。

📊 实验亮点

论文通过实验验证了LGSC的有效性，在拥挤场景下的grounding精度得到了显著提升。具体的性能数据和对比基线未知，但摘要中提到“大量的实验和分析表明，将LGSC整合到MLLM中可以有效地提高拥挤场景中的grounding精度”。这表明该方法具有实际的应用价值。

🎯 应用场景

该研究成果可应用于智能监控、自动驾驶、机器人导航等领域。在这些场景中，目标检测和定位往往面临遮挡和小物体等挑战。通过引入语言引导的语义线索，可以提高系统在复杂环境下的感知能力，从而提升系统的安全性和可靠性。未来，该方法还可以扩展到其他多模态任务中，如图像描述和视觉问答。

📄 摘要（原文）

While Multimodal Large Language Models (MLLMs) have enhanced grounding capabilities in general scenes, their robustness in crowded scenes remains underexplored. Crowded scenes entail visual challenges (i.e., occlusion and small objects), which impair object semantics and degrade grounding performance. In contrast, language expressions are immune to such degradation and preserve object semantics. In light of these observations, we propose a novel method that overcomes such constraints by leveraging Language-Guided Semantic Cues (LGSCs). Specifically, our approach introduces a Semantic Cue Extractor (SCE) to derive semantic cues of objects from the visual pipeline of an MLLM. We then guide these cues using corresponding text embeddings to produce LGSCs as linguistic semantic priors. Subsequently, they are reintegrated into the original visual pipeline to refine object semantics. Extensive experiments and analyses demonstrate that incorporating LGSCs into an MLLM effectively improves grounding accuracy in crowded scenes.