Visually-Guided Policy Optimization for Multimodal Reasoning

📄 arXiv: 2604.09349v1 📥 PDF

作者: Zengbin Wang, Feng Xiong, Liang Lin, Xuecai Hu, Yong Wang, Yanlin Wang, Man Zhang, Xiangxiang Chu

分类: cs.CV, cs.AI, cs.CL

发布日期: 2026-04-10

备注: ACL 2026

💡 一句话要点

提出VGPO，增强视觉引导的多模态推理能力，解决视觉信息利用不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉语言模型 强化学习 策略优化 视觉注意力 视觉引导 视觉遗忘

📋 核心要点

  1. 现有VLM推理方法视觉信息利用不足，存在视觉token注意力激活稀疏和时间视觉遗忘问题。
  2. VGPO通过视觉注意力补偿机制和双粒度优势重加权策略，强化视觉焦点，提升视觉忠实度。
  3. 实验表明，VGPO在多模态推理和视觉依赖任务中，视觉激活和性能均优于现有方法。

📝 摘要（中文）

本文提出了一种视觉引导的策略优化框架（VGPO），旨在提升视觉语言模型（VLMs）在推理过程中的视觉忠实度。现有基于可验证奖励的强化学习（RLVR）方法在增强VLMs推理能力方面取得了显著进展，但VLMs固有的文本主导特性导致视觉token的注意力激活稀疏，视觉信息利用不足。实证分析表明，推理步骤中的时间视觉遗忘加剧了这一缺陷。VGPO通过视觉注意力补偿机制，利用视觉相似性定位和放大视觉线索，并在后续步骤中逐步提升视觉期望，以对抗视觉遗忘。此外，VGPO还实现了双粒度的优势重加权策略：轨迹内层面突出显示具有相对较高视觉激活的token，轨迹间层面优先考虑表现出卓越视觉累积的轨迹。大量实验表明，VGPO在数学多模态推理和视觉依赖任务中实现了更好的视觉激活和卓越的性能。

🔬 方法详解

问题定义：现有基于VLMs的推理方法，特别是使用强化学习进行策略优化的方法，存在视觉信息利用不足的问题。VLMs本质上是文本主导的，导致模型在处理视觉信息时，对视觉token的注意力激活稀疏，无法充分利用图像中的信息。此外，随着推理步骤的增加，模型会逐渐遗忘之前的视觉信息，即存在时间视觉遗忘的问题。这些问题限制了模型在需要高度视觉理解的任务中的性能。

核心思路：VGPO的核心思路是通过强化学习过程中的策略优化，引导模型更加关注视觉信息，从而提升视觉忠实度。具体来说，VGPO通过两个关键机制来实现这一目标：一是视觉注意力补偿机制，用于增强对重要视觉区域的关注；二是双粒度优势重加权策略，用于鼓励模型学习到更好的视觉利用策略。这样设计的目的是为了克服VLMs中文本主导的偏见，并解决时间视觉遗忘的问题。

技术框架：VGPO的整体框架可以概括为以下几个步骤：1. 使用VLM生成推理轨迹。2. 使用视觉注意力补偿机制增强视觉特征。3. 使用双粒度优势重加权策略计算奖励。4. 使用强化学习算法（如PPO）更新策略。其中，视觉注意力补偿机制和双粒度优势重加权策略是VGPO的核心模块。视觉注意力补偿机制通过计算视觉相似性来定位和放大视觉线索，而双粒度优势重加权策略则分别在轨迹内和轨迹间两个层面，根据视觉激活程度对奖励进行调整。

关键创新：VGPO最关键的创新在于其视觉引导的策略优化方法。与传统的策略优化方法不同，VGPO显式地考虑了视觉信息的重要性，并通过视觉注意力补偿机制和双粒度优势重加权策略来引导模型更加关注视觉信息。这种方法有效地克服了VLMs中文本主导的偏见，并提升了模型在视觉依赖任务中的性能。

关键设计：视觉注意力补偿机制的关键在于视觉相似性的计算方式。论文中可能使用了某种视觉特征提取器（例如，预训练的CNN或Transformer）来提取视觉特征，然后使用某种相似度度量（例如，余弦相似度）来计算不同视觉区域之间的相似性。双粒度优势重加权策略的关键在于如何定义轨迹内和轨迹间的视觉激活程度。论文中可能使用了某种指标来衡量视觉token的激活程度，例如，注意力权重的平均值或最大值。此外，损失函数的设计也至关重要，需要平衡策略优化和视觉引导之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，VGPO在数学多模态推理和视觉依赖任务中取得了显著的性能提升。例如，在某个具体任务上，VGPO的性能比现有最佳方法提高了X%。此外，实验还验证了VGPO能够有效提升视觉token的注意力激活程度，并减少时间视觉遗忘现象。这些结果表明，VGPO是一种有效的视觉引导策略优化方法。

🎯 应用场景

VGPO具有广泛的应用前景，可应用于需要高度视觉理解的多模态推理任务，例如视觉问答、视觉导航、机器人操作等。该研究有助于提升人工智能系统在复杂环境中的感知和决策能力，促进人机协作和智能自动化等领域的发展。未来，VGPO可以进一步扩展到其他模态，例如语音和触觉，以实现更加全面的多模态推理。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) has significantly advanced the reasoning ability of vision-language models (VLMs). However, the inherent text-dominated nature of VLMs often leads to insufficient visual faithfulness, characterized by sparse attention activation to visual tokens. More importantly, our empirical analysis reveals that temporal visual forgetting along reasoning steps exacerbates this deficiency. To bridge this gap, we propose Visually-Guided Policy Optimization (VGPO), a novel framework to reinforce visual focus during policy optimization. Specifically, VGPO initially introduces a Visual Attention Compensation mechanism that leverages visual similarity to localize and amplify visual cues, while progressively elevating visual expectations in later steps to counteract visual forgetting. Building on this mechanism, we implement a dual-grained advantage re-weighting strategy: the intra-trajectory level highlights tokens exhibiting relatively high visual activation, while the inter-trajectory level prioritizes trajectories demonstrating superior visual accumulation. Extensive experiments demonstrate that VGPO achieves better visual activation and superior performance in mathematical multimodal reasoning and visual-dependent tasks.