From What to Which: Decoding Modifier Grounding in Frozen MLLMs
作者: Barbara Toniella Corradini, Caterina Gallegati, Ludovica Genovese, Vittorio Murino
分类: cs.CV
发布日期: 2026-10-08
💡 一句话要点
提出OTTER以解决多模态大语言模型中的修饰符定位问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 修饰符定位 最优传输 计算机视觉 自然语言处理 图像标注 人机交互
📋 核心要点
- 现有方法主要关注图像中的对象，忽视了修饰符在定位中的重要性，导致生成的描述缺乏准确性。
- 本文提出OTTER，通过最优传输对冻结的MLLM表示进行探测，旨在解码修饰符的定位信息。
- 实验结果显示，OTTER能够有效解码修饰符的视觉信息，并在上下文变化下保持稳定性，具有较强的跨数据集迁移能力。
📝 摘要（中文）
随着多模态大语言模型（MLLMs）能够描述越来越复杂的视觉场景，令牌级的定位变得至关重要。然而，现有的定位方法主要关注图像中的对象（如“香蕉”），忽视了描述特定实例的修饰符（如“黄色”、“左边”）。本文探讨了冻结的MLLM表示是否包含可解码的定位信息，特别是针对修饰符如属性、空间表达和关系/动作术语。为此，我们提出了OTTER，一个轻量级的监督探测器，利用最优传输（OT）将生成的令牌与视觉区域对齐，并生成紧凑的定位图。我们的结果表明，(i) 可以从修饰符令牌中解码出实例区分的视觉信息，尤其是空间术语；(ii) 这种信息并不限于空间术语，背景化的对象名词也携带指代信息；(iii) 恢复的定位在上下文扰动下仍然具有信息性，所选区域对生成仍然相关；(iv) 学习的基于OT的定位超越了受控设置，适用于自由生成和跨数据集迁移。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型中修饰符的定位问题。现有方法往往忽略了修饰符在指代特定实例中的作用，导致生成描述的准确性不足。
核心思路：论文的核心思路是通过引入OTTER，利用最优传输技术对冻结的MLLM表示进行探测，从而解码修饰符的定位信息，确保生成描述的准确性和丰富性。
技术框架：OTTER的整体架构包括数据预处理、最优传输对齐、生成定位图和结果评估四个主要模块。首先对输入数据进行预处理，然后通过最优传输算法将生成的令牌与视觉区域进行对齐，最后生成紧凑的定位图并进行评估。
关键创新：OTTER的最大创新在于将最优传输应用于冻结的MLLM表示，能够有效解码修饰符的视觉信息，尤其是在空间术语方面，与传统方法相比，提供了更为细致的定位能力。
关键设计：在OTTER的设计中，关键参数包括最优传输的损失函数设置，以及网络结构的选择，确保了模型在不同上下文下的鲁棒性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OTTER在解码修饰符的视觉信息方面表现优异，尤其在空间术语的解码上具有明显优势。与基线方法相比，OTTER在上下文扰动下的定位准确性保持稳定，且在跨数据集迁移中展现出良好的适应性，进一步验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和人机交互等。通过提高多模态大语言模型在复杂视觉场景中的描述能力，OTTER可以在自动图像标注、智能助手和增强现实等实际应用中发挥重要作用，未来可能推动相关技术的发展与应用。
📄 摘要（原文）
As Multimodal Large Language Models (MLLMs) can describe increasingly complex visual scenes, token-level grounding becomes crucial. Yet, when an MLLM generates "the yellow banana on the left", established grounding approaches focus on what is in the image ("banana"), overlooking tokens that help describe which instance is meant ("yellow", "left"). In this work, we ask whether frozen MLLM representations contain decodable grounding information about the referred instance across generated tokens, extending to modifiers such as attributes, spatial expressions, and relational/action terms. To address this question, we introduce OTTER, a lightweight supervised probe over frozen MLLM representations that uses Optimal Transport (OT) to align generated tokens with visual regions and produce compact grounding maps. Our results show that (i) instance-discriminative visual information can be decoded from modifier tokens, with the clearest evidence for spatial terms, but (ii) is not confined to them, as contextualized object nouns also carry referential information; (iii) the recovered grounding remains informative under context perturbations, while selected regions remain relevant to generation; and (iv) the learned OT-based grounding extends beyond the controlled setting to free generation and cross-dataset transfer.