Visual Access Boundaries in Vision-Language Model Reasoning
作者: Hiroto Osaka, Shohei Taniguchi, Gouki Minegishi, Kai Yamashita, Masahiro Suzuki, Yutaka Matsuo
分类: cs.AI
发布日期: 2026-07-14
💡 一句话要点
提出视觉访问边界以优化视觉语言模型推理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 链式思维 多模态学习 推理机制 视觉访问边界
📋 核心要点
- 现有的链式思维提示方法在推理过程中对图像令牌的访问机制尚不明确，导致性能提升的原因不清晰。
- 论文提出视觉访问扫描，通过掩蔽生成令牌查询与图像令牌键的注意力，定义视觉访问边界以评估任务准确性。
- 实验结果显示，CoT在不同模型配置下的视觉访问边界有限，且其性能提升主要依赖于语言侧的计算，而非直接图像访问。
📝 摘要（中文）
链式思维（CoT）提示被广泛应用于视觉语言模型（VLMs）的测试时间扩展策略，但在生成更长推理轨迹时，其具体扩展内容尚不明确。本文提出视觉访问扫描（Visual Access Sweep），通过对生成令牌查询与图像令牌键之间的注意力进行掩蔽，定义视觉访问边界（VAB）为保持任务准确性的最小访问区域。研究表明，CoT并不主要通过延长直接图像令牌访问来提升性能，而是通过扩展语言侧计算来利用图像派生的隐藏状态信息。进一步分析显示，CoT的增益受限于感知读取能力，只有在可可靠读取的视觉属性上，CoT才能发挥作用。
🔬 方法详解
问题定义：本文旨在探讨链式思维（CoT）提示在视觉语言模型推理中的作用，特别是其对图像令牌访问的依赖性。现有方法在生成长推理轨迹时，未能明确其性能提升的机制和边界。
核心思路：提出视觉访问扫描（Visual Access Sweep）作为一种因果干预方法，通过掩蔽生成令牌查询与图像令牌键之间的注意力，定义视觉访问边界（VAB），以评估在不同层次和生成时间下的任务准确性。
技术框架：整体架构包括多个模型配置（如Qwen2.5-VL和InternVL3），通过对比无CoT直接回答和CoT提示的VAB，分析其在不同规模下的表现。主要模块包括注意力掩蔽机制和性能评估模块。
关键创新：最重要的技术创新在于定义了视觉访问边界（VAB），并通过实验验证了CoT在推理过程中对图像令牌的访问并非无限制，而是有限的，且主要依赖于语言侧的计算。
关键设计：在实验中，设置了不同的模型规模（如14B和38B），并通过符号属性预言者和单对象探测-解码检查，分析了CoT在可读取视觉属性上的表现，揭示了感知读取能力对性能的限制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在Qwen2.5-VL-32B和InternVL3模型中，CoT的视觉访问边界与无CoT边界最多相差两层，尽管生成长度显著增加。这表明CoT的性能提升主要依赖于语言侧计算而非直接图像访问，且在可读取视觉属性上表现更佳。
🎯 应用场景
该研究的潜在应用领域包括多模态学习、智能问答系统和图像理解等。通过优化视觉语言模型的推理过程，可以提升模型在复杂场景下的理解能力，进而推动自动化内容生成和人机交互的进步。未来，该方法可能在增强现实和虚拟助手等领域发挥重要作用。
📄 摘要（原文）
Chain-of-Thought (CoT) prompting is widely used as a test-time scaling strategy for Vision-Language Models (VLMs), but it remains unclear what is extended when VLMs generate longer reasoning traces. We ask whether CoT requires continued access to image tokens, or whether it mainly operates over visual information already made available earlier in the forward pass. We introduce Visual Access Sweep, a causal intervention that masks attention from generated-token queries to image-token keys along layer depth and generation time, and define the Visual Access Boundary (VAB) as the minimal access region that preserves task accuracy. Across six model configurations from Qwen2.5-VL and InternVL3, both no-CoT direct answering and CoT prompting exhibit finite VABs. In Qwen2.5-VL-32B and InternVL3 at 14B and 38B scales, when CoT is evaluated against the no-CoT full-access target, its VAB layer differs from the no-CoT boundary by at most two layers, despite substantially longer generations. This suggests that CoT does not primarily improve performance by prolonging direct image-token access throughout the reasoning trace, but by extending language-side computation over image-derived hidden-state information. We further show that CoT gains are constrained by perceptual readout. CoT helps when the queried visual attribute can be reliably read out by the model, but not when that readout is unreliable. A symbolic-attribute oracle shows that CoT can improve counting once ground-truth attributes are supplied as text, while a single-object probe-vs-decode check shows that hard attributes can be linearly recoverable from hidden states yet difficult for the model itself to output. Together, these analyses place the bottleneck at readout rather than counting.