Perception or Reasoning? Diagnosing and Tackling Reinforcement Learning Bottlenecks in VLMs
作者: Zeyuan Yang, Zhuohao Chen, Jiaben Chen, Yao Zhang, Maohao Shen, Chuang Gan
分类: cs.CV
发布日期: 2026-10-15
💡 一句话要点
提出PARA和GRAD以解决视觉语言模型中的强化学习瓶颈问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 强化学习 感知与推理 多模态学习 注意力机制 模型优化 性能提升
📋 核心要点
- 现有的视觉语言模型在视觉任务中的表现不一致，主要是由于感知和推理能力的不同限制。
- 论文提出了感知与推理归因（PARA）方法，评估模型在视觉任务中的感知和推理潜力，并提出GRAD方法以改善视觉注意力。
- 实验结果显示，GRAD在两个模型规模和七个基准上均显著提升了性能，验证了其有效性。
📝 摘要（中文）
强化学习在语言模型推理方面取得了显著进展，但在视觉任务上的提升却不够一致。视觉任务失败的原因可能多种多样，论文提出了感知与推理归因（PARA）方法，通过比较模型在不同基准上的错误恢复情况，评估每个模型的感知和推理潜力。研究表明，随着感知潜力的增加，强化学习的收益减小，而推理潜力的提升则能更有效地利用强化学习。为此，论文提出了GRAD方法，通过组相对注意力蒸馏直接引导视觉注意力，显著提升了模型性能。
🔬 方法详解
问题定义：本论文旨在解决视觉语言模型在视觉任务中表现不一致的问题，现有方法未能有效区分感知和推理的限制因素。
核心思路：提出感知与推理归因（PARA）方法，通过分析模型在不同基准上的错误恢复情况，识别感知和推理的潜力差异，并引入GRAD方法直接优化视觉注意力。
技术框架：整体框架包括PARA评估模块和GRAD优化模块。PARA模块通过比较模型在更准确视觉信息和更强推理器下的表现，评估模型的感知和推理能力；GRAD模块则通过组相对注意力蒸馏，优化视觉注意力。
关键创新：PARA方法能够量化模型在视觉任务中的感知和推理潜力，揭示了强化学习在推理潜力上的有效性；GRAD方法则通过直接引导视觉注意力，提升了模型的整体性能。
关键设计：在GRAD方法中，采用了组相对注意力蒸馏的损失函数，利用每组中最佳的回合来指导较弱回合的视觉注意力，确保了模型在不同任务中的一致性提升。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GRAD方法在两个不同规模的模型上和七个基准测试中均显著提升了性能，具体提升幅度达到X%（具体数据待补充），验证了其在视觉任务中的有效性和优越性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过优化视觉语言模型的感知与推理能力，能够提升智能助手、自动驾驶、图像描述生成等实际应用的性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Reinforcement learning has brought strong gains to language model reasoning, but its improvements on visual tasks remain less consistent. One difficulty is that visual task failures can arise from different sources: the same benchmark may be limited by perception for one model and by reasoning for another. We introduce Perception and Reasoning Attribution (PARA), which measures the remaining perceptual and reasoning headroom of each model--benchmark pair by comparing how many current errors are recovered with more accurate visual information versus a stronger reasoner. Across 4 vision-language models and 17 multimodal benchmarks, PARA broadly agrees with the expected characteristics of existing benchmarks while revealing substantial model-specific variation. More importantly, it shows that RL gains become smaller as perceptual headroom increases, but larger when reasoning explains more of the recoverable errors, suggesting that current RL exploits reasoning headroom more effectively than perceptual headroom. Motivated by this gap, we analyze how existing RL objectives affect visual perception and find that reward- and token-level signals influence visual attention only indirectly. We therefore propose GRAD, a group-relative attention distillation objective that uses the best rollout in each group to directly guide the visual attention of weaker rollouts. GRAD consistently improves performance across two model scales and seven benchmarks, and further complements existing RL methods.