The Ebb and Flow of Multimodal Focus: Scheduling Visual Relay Windows for Grounded VLM Reasoning

📄 arXiv: 2607.11436 📥 PDF

作者: Wencheng Ye, Yi Bin, Yujuan Ding, Hongye Fang, Zheng Wang, Xing Xu, Jingkuan Song, Yun Zhang, Sirui Da, Heng Tao Shen

分类: cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出TRACE框架以增强多模态推理的证据基础

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉语言模型 TRACE框架 证据基础 视觉中继窗口 任务自适应控制 推理优化

📋 核心要点

  1. 现有视觉语言模型在处理多模态推理时，视觉证据的稳定性不足，导致基于证据的推理效果不佳。
  2. 本文提出TRACE框架，通过控制多模态注意力的分配，优化视觉中继窗口的使用，从而增强推理的准确性。
  3. 实验结果表明，TRACE在四个开放权重VLM骨干网络和七个基准上，平均提升了4.33分，最高提升达6.6分，显著改善了基于证据的推理任务。

📝 摘要（中文）

视觉语言模型在多模态推理基准上取得了越来越多的成功，但其视觉证据在进入语言堆栈后往往变得不稳定，削弱了基于证据的推理。为了解这一脆弱性，本文通过机械视角研究了VLM的内部动态，发现了多模态注意力焦点的稳定三阶段重分配：早期问题条件组织、关键的视觉主导中继和后期答案形成。我们将中间阶段操作化为视觉中继窗口（VRW），并展示其几何形状随任务需求变化，与基于证据的生成有因果关系，并区分不支持的答案与更强的推理轨迹。基于这一内部节奏，我们提出了TRACE框架，能够在推理时进行任务自适应控制，显著提升了基于证据的多模态推理能力。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在多模态推理中视觉证据不稳定的问题，现有方法在处理复杂推理时表现不佳，导致推理结果的可靠性下降。

核心思路：提出TRACE框架，通过分析多模态注意力的内部动态，优化视觉中继窗口的分配，增强推理过程中的证据支持，从而提高推理的准确性和稳定性。

技术框架：TRACE框架包括三个主要阶段：早期的问题条件组织、关键的视觉主导中继阶段（VRW）和后期的答案形成。通过在推理过程中动态调整视觉中继窗口的分配，确保视觉证据在整个推理过程中的有效性。

关键创新：TRACE框架的核心创新在于引入了视觉中继窗口的概念，并通过任务自适应控制优化其几何形状，从而实现了对多模态注意力的精确管理，这与现有方法的静态处理方式形成了鲜明对比。

关键设计：TRACE框架中，关键设计包括轻量级的训练模块，能够在推理时动态调整视觉支持的分配，确保在解码过程中保持视觉证据的完整性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，TRACE框架在四个开放权重VLM骨干网络和七个基准上，平均提升了4.33分，最高提升达6.6分，尤其在基于证据的推理任务中表现显著优于对比基线，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、图像描述生成和多模态搜索引擎等。通过增强多模态推理的证据基础，TRACE框架能够提高这些应用的准确性和用户体验，未来可能在人工智能助手和自动化内容生成等领域产生深远影响。

📄 摘要（原文）

Vision-language models increasingly succeed on multimodal reasoning benchmarks, yet their visual evidence often becomes unstable once it enters the language stack, weakening evidence-grounded reasoning. To understand this fragility, we examine the internal dynamics of VLMs through a mechanistic lens and uncover a stable three-stage redistribution of multimodal attention focus across depth: an early question-conditioned organization, a critical middle visual-dominant relay, and a late return to answer formation. We operationalize the middle phase as the Visual Relay Window (VRW), and show that its geometry varies with task demand, is causally tied to grounded generation, and distinguishes unsupported answers from stronger reasoning trajectories. Guided by this internal rhythm, we propose TRACE, a task-adaptive inference-time control framework with lightweight trained modules. It reshapes relay allocation during prefill and preserves assembled visual support after handoff during decoding. Across four open-weight VLM backbones and seven benchmarks, TRACE delivers large gains on grounding-sensitive settings, improving them by 4.33 points on average and by up to 6.6 points, while also improving reasoning-heavy tasks. These results show that explicitly controlling multimodal focus across depth offers a unified and effective mechanism for strengthening evidence-grounded multimodal reasoning.