VLMs Need Words: Vision Language Models Ignore Visual Detail In Favor of Semantic Anchors
作者: Haz Sameen Shahgir, Xiaofu Chen, Yu Fu, Erfan Shayegani, Nael Abu-Ghazaleh, Yova Kementchedjhieva, Yue Dong
分类: cs.CV, cs.CL
发布日期: 2026-04-06
💡 一句话要点
视觉语言模型过度依赖语义锚点，忽略视觉细节，限制了其视觉推理能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 视觉推理 语义锚点 视觉对应 多模态学习
📋 核心要点
- 现有视觉语言模型在细粒度视觉感知任务中表现不佳，即使内部表示包含所需信息。
- 论文指出，VLMs过度依赖将视觉信息映射到文本空间，导致对无法命名的视觉实体推理能力不足。
- 实验表明，VLMs在可命名实体上的视觉对应任务表现更好，且通过引入任意名称可提升性能。
📝 摘要（中文）
视觉语言模型(VLMs)在各种多模态任务中表现出色。然而，在一些需要细粒度视觉感知的任务中，即使所需信息存在于其内部表示中，它们也经常失败。本文表明，这种差距源于其狭窄的训练流程，该流程侧重于将视觉信息转移到文本空间。因此，VLMs只能推理可以映射到语言空间中已知概念的视觉实体，导致视觉对应和关于新视觉实体的推理等以视觉为中心的任务支持不足。因此，VLMs在几个重要的多模态能力方面受到严重限制，因为它们依赖于脆弱的、幻觉性的视觉实体文本描述，而这些实体无法映射到文本表示。我们通过视觉对应任务验证了这种行为，在该任务中，VLMs必须检测两个图像之间匹配的实体。通过语义、形状和面部对应任务的测试，我们发现当相关实体可以用语言命名时，VLMs的性能要好得多。从机制上讲，我们的Logit Lens分析证实，VLMs明确地为可命名的实体分配语义标签，并呈现出比不可命名的实体更独特的对应token。此外，我们表明，为未知实体教授完全任意的名称可以提高性能，但特定于任务的微调可以在不依赖语言先验的情况下产生更强的泛化能力。我们的研究结果表明，当前VLM在视觉任务上的失败反映了它们训练中学习到的捷径，而不是多模态架构的根本限制。
🔬 方法详解
问题定义：现有的视觉语言模型(VLMs)在需要细粒度视觉感知的任务中表现不佳。尽管VLMs的内部表征可能包含所需的信息，但它们无法有效地利用这些信息进行推理。一个关键的痛点是，VLMs在处理无法直接映射到文本概念的视觉实体时存在困难，这限制了它们在视觉对应和新颖视觉实体推理等任务中的应用。
核心思路：论文的核心思路是，VLMs的性能瓶颈源于其训练方式，即过度依赖将视觉信息编码为文本描述。这种训练方式使得VLMs更擅长处理可以映射到已知语言概念的视觉实体，而忽略了那些难以用语言描述的视觉细节。因此，论文提出，通过改进VLMs对视觉信息的处理方式，可以提高其在视觉任务中的性能。
技术框架：论文主要通过实验分析来验证其核心观点。具体来说，论文设计了一系列视觉对应任务，要求VLMs在两张图像中找到匹配的实体。这些任务涵盖了语义对应、形状对应和面部对应等不同类型。通过比较VLMs在可命名实体和不可命名实体上的表现，论文揭示了VLMs对语义锚点的依赖。此外，论文还使用了Logit Lens分析来研究VLMs内部的表征机制。
关键创新：论文最重要的技术创新点在于，它揭示了VLMs在视觉任务中的失败并非源于架构的根本限制，而是源于训练中学习到的捷径。具体来说，VLMs过度依赖将视觉信息映射到文本空间，导致它们忽略了那些难以用语言描述的视觉细节。这一发现为改进VLMs的训练方式提供了新的思路。
关键设计：论文的关键设计包括：1) 设计了多种视觉对应任务，涵盖了不同类型的视觉实体；2) 使用Logit Lens分析来研究VLMs内部的表征机制；3) 通过引入任意名称来提高VLMs对不可命名实体的识别能力；4) 通过特定任务的微调来进一步提高VLMs的性能。这些设计使得论文能够有效地验证其核心观点，并为改进VLMs的训练方式提供了有力的证据。
🖼️ 关键图片
📊 实验亮点
实验结果表明，VLMs在可命名实体上的视觉对应任务表现明显优于不可命名实体。通过为不可命名实体引入任意名称，VLMs的性能得到了显著提升。此外，特定任务的微调在不依赖语言先验的情况下，进一步提高了VLMs的泛化能力。这些结果表明，VLMs在视觉任务上的性能瓶颈可以通过改进训练方式来克服。
🎯 应用场景
该研究成果可应用于提升视觉语言模型在机器人导航、图像编辑、视觉问答等领域的性能。通过减少模型对语义锚点的依赖，使其能够更好地理解和处理复杂的视觉信息，从而提高其在实际应用中的可靠性和准确性。未来的研究可以探索更有效的视觉信息编码方式，以进一步提升VLMs的视觉推理能力。
📄 摘要（原文）
Vision Language Models (VLMs) achieve impressive performance across a wide range of multimodal tasks. However, on some tasks that demand fine-grained visual perception, they often fail even when the required information is present in their internal representations. In this work, we demonstrate that this gap arises from their narrow training pipeline which focuses on moving visual information to the textual space. Consequently, VLMs can only reason about visual entities that can be mapped to known concepts in the language space, leaving vision-focused tasks such as visual correspondence and reasoning about novel visual entities poorly supported. As a result, VLMs are severely limited in several important multimodal capabilities because they rely on brittle, hallucinated textual descriptions of visual entities that they cannot map to textual representations. We verify this behavior through visual correspondence tasks, in which VLMs must detect matching entities between two images. Testing across semantic, shape, and face correspondence tasks, we find that VLMs perform much better when the relevant entities are nameable in language than when they are unnameable. Mechanistically, our Logit Lens analyses confirm that VLMs explicitly assign semantic labels to nameable entities and surface more unique corresponding tokens compared to unnameable entities. Furthermore, we show that teaching completely arbitrary names for unknown entities improves performance, yet task-specific finetuning yields even stronger generalization without relying on language priors. Our findings suggest that current VLM failures on visual tasks reflect learned shortcuts from their training, rather than a fundamental limitation of multimodal architectures.