The Answer Knows Where to Look: Zooming before MLLMs Answer under Visual-Token Budgets
作者: Zhensheng Hu, Guanglong Xu, Guanqiang Hu
分类: cs.CV
发布日期: 2026-10-23
💡 一句话要点
提出一种新方法以优化多模态大语言模型的视觉信息获取
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 视觉信息处理 观察标记 信息获取 深度学习
📋 核心要点
- 现有的多模态大语言模型在处理图像时，因视觉标记预算有限，导致细节信息难以获取。
- 论文提出了一种新的观察机制，通过引入观察标记，使模型能够在回答之前选择合适的放大区域。
- 在Qwen3-VL模型上进行的实验显示，该方法在多个文本丰富的基准上提升了4.8-17.0分，且运行速度优于现有方法。
📝 摘要（中文）
多模态大语言模型（MLLMs）通过视觉标记读取图像，但在高效部署中，图像的细节常常难以辨认。论文提出了一种新方法，通过引入专用的“观察标记”，使模型在回答之前能够有效选择需要放大的区域，从而提高信息获取的准确性。实验表明，该方法在多个基准测试中显著超越了现有最强基线，且运行速度更快。
🔬 方法详解
问题定义：论文要解决的问题是多模态大语言模型在处理图像时，由于视觉标记预算限制，导致细节信息难以辨认，影响模型的回答准确性。现有方法在回答前无法有效选择需要放大的区域，造成信息获取的不足。
核心思路：论文的核心思路是引入一个专用的观察标记，该标记在回答之前进行处理，能够学习如何像模型的正确答案一样进行注意力分配，从而有效提取信息。
技术框架：整体架构包括一个观察标记模块，该模块在回答过程之前进行单次填充，提取出集中指针信息。然后，模型根据隐藏状态选择不同的观察方式，包括无放大、裁剪、适应性窗口和聚焦变形等。
关键创新：最重要的技术创新点在于引入了观察标记，允许模型在回答之前进行有效的视觉信息选择，而不需要额外的框注释或外部定位器。这一设计使得模型能够在没有生成答案的情况下，提前获取关键信息。
关键设计：该方法不依赖于每个模型层的搜索或外部定位器，且通过反事实结果来监督每种视图的选择，确保了信息获取的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在Qwen3-VL模型上，在98个视觉标记的条件下，相较于最强基线提升了4.8-9.1分，相较于基于注意力引导的放大提升了11.1-17.0分，且运行速度更快，展现了显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、图像理解和信息检索等。通过提高多模态大语言模型在视觉信息处理上的能力，能够为用户提供更准确的答案，提升人机交互的体验。未来，该方法可能在自动驾驶、医疗影像分析等领域发挥重要作用。
📄 摘要（原文）
Multimodal large language models (MLLMs) read images through visual tokens, and under the small per-image budgets that efficient deployment requires, the fine text of documents, charts and infographics becomes illegible. Zooming in recovers the evidence, but the region must be chosen before the model answers. We find that MLLMs know where the evidence is, but not in a form that can be read before they answer: the answer tokens localize it from the middle layers on, whereas the attention available before answering does so only in the top layers, at a depth that varies across models, and diffusely. Supervising the pre-answer attention to point degrades reading, and the benefit of zooming is governed by each image's information gap. Building on these findings, we introduce ours, which lets an MLLM look where its answer would. A dedicated look token, processed in a single prefill and kept out of the answering pass, learns in hindsight to attend as the model's own correct answers do, extracting this knowledge into a concentrated pointer before any answer exists. Its hidden state then selects how to look, from no zoom to crops, square windows, windows that adapt to the pointer and foveated warps, supervised by the counterfactual outcome of every view. ours needs no box annotations, per-model layer search, external localizers or generation before the answer. On Qwen3-VL at three scales and five text-rich benchmarks, it surpasses the strongest baseline by 4.8-9.1 points at 98 visual tokens per view and attention-guided zooming by 11.1-17.0 points, while running faster than attention-guided and grounding-based zooming.