Same Reward, Different Skills: When Multimodal RL Learns to Look

📄 arXiv: 2610.01908v1 📥 PDF

作者: Haocun Ye, Xinlong Jiang, Qile Chen, Bingyu Wang, Teng Zhang, Shubai Chen, Tingyu Wu, Zhenkun Zheng, Yiqiang Chen

分类: cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出视觉可解析性原则以提升多模态强化学习性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态强化学习 视觉可解析性 反事实学习 模型训练 视觉信息利用

📋 核心要点

  1. 现有的多模态强化学习方法在缺乏视觉信息时仍能获得较高的基准分数，但在真实图像训练中可能导致基础削弱。
  2. 论文提出视觉可解析性原则，要求视觉证据对正确答案至关重要，从而确保任务的可学习性。
  3. 实验结果显示，7B模型在未训练场景中发现目标的准确率显著提升，从0.425提高到0.875，且在未见过的问题类型上也有改善。

📝 摘要（中文）

本文研究了可验证奖励的强化学习（RLVR），即使在训练过程中没有视觉信息，也能提高视觉-语言基准分数。通过在测试时使用图像，盲训练模型在3B和7B的真实图像增益中分别恢复了约一半和近四分之三。长时间的真实图像训练可能会削弱基础，而基准增益依然存在。研究提出的视觉可解析性原则要求视觉证据对于正确答案是必要的，并且任务应保持可学习性。通过在反事实坐标场景中进行测试，7B模型在未训练的场景上发现目标的准确率从0.425提升至0.875，且在未训练的问题类型上也有所改善。

🔬 方法详解

问题定义：本文旨在解决多模态强化学习中视觉信息缺失导致的学习效果不足问题。现有方法在训练时未能有效利用视觉信息，导致模型在真实图像上的表现不佳。

核心思路：论文提出的视觉可解析性原则要求视觉证据必须对正确答案至关重要，这样可以确保模型在学习过程中能够有效利用视觉信息。

技术框架：研究采用了反事实坐标场景的设计，保持问题不变而目标未被命名，要求模型在图像中找到目标。整体流程包括模型训练、测试和性能评估三个主要阶段。

关键创新：最重要的创新在于引入视觉可解析性原则，强调视觉信息在学习信号中的重要性，与传统方法相比，能够更好地提升模型的学习能力和准确性。

关键设计：在实验中，使用标准的GRPO和正确性-格式奖励，模型的训练过程经过精心设计，确保在不同的训练条件下进行对比实验，以验证视觉信息的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，7B模型在未训练的场景中发现目标的准确率从0.425提升至0.875，且在未见过的问题类型上也有显著改善。替换测试图像为灰色画布时，发现率降至零，进一步验证了视觉信息的重要性。

🎯 应用场景

该研究的潜在应用领域包括智能视觉系统、机器人导航、自动驾驶等，能够提升多模态学习系统在复杂环境中的决策能力和准确性。未来可能对人机交互、智能助手等领域产生深远影响。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) improves vision-language benchmark scores even without visual information during training. With images at test, blind-trained models recover roughly half of the real-image gain at 3B and nearly four fifths at 7B. Prolonged real-image training can erode grounding while benchmark gains persist. Both findings expose the same gap: an image in the prompt is not an image in the learning signal. Our design rule, visual resolvability, asks that visual evidence be necessary for a correct answer and that the task remain learnable. We test it on counterfactual coordinate scenes in which the question stays fixed and the target is never named, so a correct answer requires finding the target in the image. With standard GRPO and correctness-and-format rewards, a 7B model raises its accuracy at finding the target (discovery) from 0.425 to 0.875 on held-out scenes denser than any it trained on, and it improves on question types it never trained on. Two controls locate the source of the gain. Replacing test images with gray canvases drops discovery to zero; training on gray canvases instead, at matched step 30 and in each of four seeds, yields essentially none of the gain even when the model is then tested with real images. The learned skill carries over to grounding tasks built independently of the training corpus. A caption that answers the training question, added to the same images, reward and budget, cuts the gain by nearly two thirds. Changing what reward requires changes what RL learns.