More Thought, Less Accuracy? On the Dual Nature of Reasoning in Vision-Language Models

📄 arXiv: 2509.25848v2 📥 PDF

作者: Xinyu Tian, Shu Zou, Zhaoyuan Yang, Mengqi He, Fabian Waschkowski, Lukas Wesemann, Peter Tu, Jing Zhang

分类: cs.CV, cs.AI

发布日期: 2025-09-30 (更新: 2025-10-02)

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

揭示视觉语言模型推理的二元性，提出VAPO以提升视觉感知能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 多模态推理 强化学习 视觉遗忘 策略优化 视觉问答 VAPO

📋 核心要点

  1. 现有视觉语言模型在推理过程中存在“视觉遗忘”问题，即推理能力提升的同时，视觉感知能力下降。
  2. 论文提出视觉锚定策略优化（VAPO），通过引导推理过程关注视觉信息，缓解视觉遗忘问题。
  3. 实验结果表明，VAPO-Thinker-7B模型在多个基准测试中取得了新的state-of-the-art结果，提升了视觉感知能力。

📝 摘要（中文）

大型语言模型（LLMs）中的推理能力日益重要。通过强化学习（RL），特别是群体相对策略优化（GRPO），这些模型能够解决复杂的任务，如数学和代码生成。最近的研究试图将推理扩展到视觉语言模型（VLMs），并在各种视觉任务中取得了可喜的成果。然而，我们的研究揭示了多模态推理的二元性：虽然它显著增强了逻辑推理并促进了对具有挑战性问题的解决，但它可能会逐渐损害感知基础，导致对原本基本的视觉问题的识别失败。通过进一步分析，我们将这种现象归因于视觉遗忘，即长时间的推理导致模型越来越忽视视觉输入。为了解决这个问题，我们提出了一种简单而有效的方法，即视觉锚定策略优化（VAPO），它明确地引导推理过程朝着视觉接地的轨迹发展。我们的结果模型VAPO-Thinker-7B显著增强了模型对视觉信息的依赖，并在各种已建立的基准上取得了新的最先进的结果。

🔬 方法详解

问题定义：现有视觉语言模型（VLMs）在进行复杂推理时，虽然逻辑推理能力得到增强，但会逐渐忽略视觉输入，导致对简单视觉问题的识别准确率下降，即“视觉遗忘”现象。这种现象限制了VLMs在需要强视觉感知的任务中的应用。

核心思路：论文的核心思路是通过强化学习，显式地引导模型的推理过程更多地关注视觉信息，从而缓解视觉遗忘问题。具体来说，就是设计一种奖励机制，鼓励模型在推理过程中更多地依赖视觉输入，减少对语言先验知识的过度依赖。

技术框架：整体框架基于现有的视觉语言模型，并引入强化学习模块来优化推理策略。主要包含以下几个阶段：1) 视觉信息编码：使用视觉编码器提取图像特征。2) 语言信息编码：使用语言模型编码问题描述。3) 推理过程：模型根据视觉和语言信息逐步进行推理，生成答案。4) 奖励计算：根据模型在推理过程中对视觉信息的利用程度，计算奖励信号。5) 策略优化：使用强化学习算法（如VAPO）优化推理策略，使模型更多地关注视觉信息。

关键创新：论文的关键创新在于提出了视觉锚定策略优化（VAPO）方法。VAPO通过设计特定的奖励函数，鼓励模型在推理过程中更多地依赖视觉信息，从而缓解视觉遗忘问题。与传统的策略优化方法相比，VAPO更加关注视觉 grounding，能够更好地平衡推理能力和视觉感知能力。

关键设计：VAPO的关键设计在于奖励函数的设计。奖励函数包含两部分：1) 准确率奖励：根据模型生成的答案是否正确，给予奖励。2) 视觉锚定奖励：根据模型在推理过程中对视觉信息的利用程度，给予奖励。具体来说，可以通过分析模型在推理过程中对不同视觉区域的注意力权重，来衡量其对视觉信息的利用程度。此外，论文还可能涉及到一些超参数的设置，例如学习率、奖励系数等，这些参数需要根据具体的任务进行调整。

🖼️ 关键图片

img_0

📊 实验亮点

论文提出的VAPO方法在多个视觉语言基准测试中取得了显著的性能提升。例如，在XXX数据集上，VAPO-Thinker-7B模型相比于之前的state-of-the-art模型，准确率提升了X%。实验结果表明，VAPO能够有效地缓解视觉遗忘问题，提升模型对视觉信息的利用率。

🎯 应用场景

该研究成果可应用于需要强视觉感知的视觉语言任务，例如视觉问答、图像描述、视觉推理等。通过提升模型对视觉信息的利用率，可以提高模型在这些任务中的准确性和鲁棒性。此外，该研究还可以促进对视觉语言模型推理机制的理解，为未来模型的设计提供指导。

📄 摘要（原文）

Reasoning has emerged as a pivotal capability in Large Language Models (LLMs). Through Reinforcement Learning (RL), typically Group Relative Policy Optimization (GRPO), these models are able to solve complex tasks such as mathematics and code generation. Building on these advances, recent research has sought to extend reasoning to Vision-Language Models (VLMs), yielding promising results across diverse visual tasks. Despite this progress, our study uncovers the dual nature of multimodal reasoning: while it substantially enhances logical inference and facilitates performance on challenging problems, it may gradually impair perceptual grounding, leading to recognition failures on otherwise basic visual questions. Through further analysis, we attribute this phenomenon to visual forgetting, wherein prolonged reasoning causes the model to increasingly disregard visual input. To address this, we propose Vision-Anchored Policy Optimization (VAPO), a simple yet effective method that explicitly steers the reasoning process toward visually grounded trajectories. Our result model, VAPO-Thinker-7B, significantly strengthens the model's reliance on visual information and achieves new state-of-the-art results on a wide range of established benchmarks. Project page: https://xytian1008.github.io/VAPO/