Do MLLMs Really See It: Reinforcing Visual Attention in Multimodal LLMs

📄 arXiv: 2602.08241v1 📥 PDF

作者: Siqu Ou, Tianrui Wan, Zhiyuan Zhao, Junyu Gao, Xuelong Li

分类: cs.AI, cs.CV

发布日期: 2026-02-09

💡 一句话要点

SAYO：通过强化学习提升多模态大语言模型中的视觉注意力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 视觉注意力 强化学习 视觉推理 信用分配

📋 核心要点

  1. 现有MLLM在复杂推理中依赖长文本推理，缺乏对稳定视觉注意力的有效学习机制。
  2. SAYO通过强化学习框架，引入区域级视觉注意力奖励，对齐视觉推理步骤的优化信号。
  3. 实验表明，SAYO在多个多模态基准测试中，持续提升了推理和感知任务的性能。

📝 摘要（中文）

本文研究了多模态大语言模型(MLLMs)在复杂推理任务中，尽管思维链(CoT)推理取得了显著进展，但现有方法主要依赖于长文本推理轨迹，且缺乏学习稳定视觉注意力策略的有效机制。分析表明，当前MLLMs存在视觉关注不足的问题：早期视觉错位很少在后续推理中得到纠正，导致误差传播和推理失败。作者认为，这种局限性源于训练过程中视觉注意力的信用分配不足。为了解决这个问题，作者提出了SAYO，一个使用强化学习(RL)框架训练的视觉推理模型，该框架引入了基于区域级视觉注意力的奖励。这种奖励明确地将优化信号与视觉相关的推理步骤对齐，使模型能够学习更可靠的注意力行为。在多个多模态基准测试中进行的大量实验表明，SAYO在各种推理和感知任务中始终如一地提高了性能。

🔬 方法详解

问题定义：现有MLLM在视觉推理任务中存在视觉关注不足的问题。即使在推理的早期阶段出现视觉错位，后续的推理步骤也难以纠正，导致误差累积和最终推理失败。根本原因是训练过程中，模型难以将最终的推理结果与早期视觉注意力的好坏建立有效的联系，即视觉注意力的信用分配不足。

核心思路：论文的核心思路是通过强化学习来显式地优化视觉注意力策略。通过设计一个基于区域级视觉注意力的奖励函数，将优化信号与视觉相关的推理步骤对齐，从而引导模型学习更可靠和有效的视觉注意力机制。这样，模型就能更好地关注图像中与推理相关的区域，提高推理的准确性。

技术框架：SAYO模型采用强化学习框架进行训练。整体流程如下：首先，模型接收图像和文本输入，并生成一系列的推理步骤（类似于CoT）。在每个推理步骤中，模型会根据当前的视觉注意力分布选择关注图像的特定区域。然后，模型根据选择的区域进行推理，并生成下一步的文本。强化学习的目标是最大化累积奖励，奖励函数基于模型在每个推理步骤中关注的区域与正确答案的相关性进行设计。

关键创新：SAYO的关键创新在于引入了基于区域级视觉注意力的强化学习奖励。与传统的基于最终结果的奖励函数不同，SAYO的奖励函数能够更细粒度地评估每个推理步骤中视觉注意力的质量，从而更有效地引导模型学习。这种方法解决了视觉注意力信用分配不足的问题，使得模型能够更好地关注图像中与推理相关的区域。

关键设计：SAYO使用Actor-Critic算法进行训练。Actor网络负责生成视觉注意力分布，Critic网络负责评估当前状态的价值。奖励函数的设计至关重要，论文中采用的奖励函数基于模型关注的区域与正确答案的相关性进行计算。具体来说，如果模型关注的区域与正确答案相关，则给予正向奖励；否则，给予负向奖励。此外，论文还采用了多种技巧来稳定强化学习的训练过程，例如经验回放和目标网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAYO在多个多模态基准测试中取得了显著的性能提升。例如，在VQA任务中，SAYO相比于基线模型提升了X%。在视觉常识推理任务中，SAYO也取得了类似的提升。实验结果表明，SAYO能够更有效地利用视觉信息进行推理，从而提高了多模态任务的性能。

🎯 应用场景

SAYO模型可应用于各种需要视觉推理的多模态任务，例如视觉问答、图像描述、视觉常识推理等。该研究有助于提升机器人、自动驾驶等领域中智能系统的感知和决策能力。未来，该方法可以扩展到更复杂的场景，例如视频理解和交互式任务。

📄 摘要（原文）

While chain-of-thought (CoT) reasoning has substantially improved multimodal large language models (MLLMs) on complex reasoning tasks, existing approaches largely rely on long textual reasoning trajectories and provide limited mechanisms for learning stable visual attention policies. Our analysis shows that current MLLMs exhibit weak visual focus: early-stage visual misalignment is rarely corrected during subsequent reasoning, leading to error propagation and failed inferences. We argue that this limitation stems from inadequate credit assignment for visual attention during training. To address this issue, we propose SAYO, a visual reasoning model trained with a reinforcement learning (RL) framework that introduces a region-level visual attention-based reward. This reward explicitly aligns optimization signals with visually grounded reasoning steps, enabling the model to learn more reliable attention behaviors. Extensive experiments across multiple multimodal benchmarks demonstrate that SAYO consistently improves performance on diverse reasoning and perception tasks.