From Visual Affinity to Learning Credit in Multimodal Reinforcement Learning

📄 arXiv: 2610.32324v1 📥 PDF

作者: Yuhang Han, Dingning Liu, Yujie Chen, Yaojie Zhang, Jingwei Song, Zequn Yang, Xuanming Shang, Li Ding, Zhijiang Guo, Linfeng Zhang

分类: cs.AI

发布日期: 2026-10-23

💡 一句话要点

提出Outcome-Conditioned Visual Credit以解决多模态强化学习中的视觉关联问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态强化学习 视觉关联 信用分配 结果条件校准 策略优化

📋 核心要点

  1. 现有的多模态强化学习方法在响应级别上均匀分配优势，忽视了视觉观察与推理的不同角色，导致效果不佳。
  2. 本文提出Outcome-Conditioned Visual Credit（OVC），通过分离视觉关联测量与信用分配，增强了视觉观察的有效性。
  3. OVC在多个基准测试中表现出色，相较于GSPO，平均准确率提升了1.86-2.39个百分点，证明了其有效性。

📝 摘要（中文）

具有可验证奖励的强化学习（RLVR）提升了多模态推理能力，但现有方法在响应级别上对所有标记均匀分配优势，忽视了视觉观察和后续推理的不同角色。单靠视觉关联不足以解决问题，预测状态可能与图像和提示上下文表示对齐，且在推理失败时，增强有效视觉观察可能会放大其负面优势更新。为此，本文提出了Outcome-Conditioned Visual Credit（OVC），一个插件框架，能够将视觉关联测量与标记级别的信用分配分离，并适应具有均匀响应级别优势分配的策略优化方法。OVC通过GSPO-token实例化，保持序列级剪切，并在三个模型上在六个基准测试中一致提高了1.86-2.39个百分点的平均准确率。

🔬 方法详解

问题定义：本文旨在解决现有多模态强化学习方法中，视觉观察与推理角色不明确的问题。现有方法在响应级别上均匀分配优势，导致视觉信息未能有效利用。

核心思路：提出Outcome-Conditioned Visual Credit（OVC），通过将视觉关联测量与标记级别的信用分配分离，增强视觉观察的影响力，从而改善推理效果。

技术框架：OVC框架包括相对视觉编码、结果条件证据校准和归一化信用分配三个主要模块。相对视觉编码构建上下文相关的视觉坐标，结果条件证据校准结合不确定性缩放的预测特征，归一化信用分配则根据响应的优势符号调整标记权重。

关键创新：OVC的核心创新在于通过观察结果差异来指导信用分配，而非直接决定更新优先级。这一设计使得视觉信息的利用更加灵活和有效。

关键设计：在设计中，使用了均值对比方法来校准证据贡献，并通过正则化的内部变异来缩放响应的优势符号，确保标记权重的全局均值为单位，同时保留优势符号。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，OVC通过GSPO-token实例化，保持序列级剪切，并在六个基准测试中相较于GSPO模型，平均准确率提升了1.86-2.39个百分点，展现出显著的性能提升，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、智能监控等多模态系统，能够提升这些系统在复杂环境下的决策能力和推理准确性。未来，OVC框架可能为多模态学习提供新的思路，推动相关技术的发展。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) improves multimodal reasoning, but uniformly assigning a single response-level advantage to all tokens overlooks the distinct roles of visual observations and subsequent reasoning. Visual affinity alone is insufficient: predictive states may align with both image and prompt-context representations, and upweighting valid visual observations can amplify their negative-advantage updates when later reasoning fails. To address this issue, we propose \textbf{Outcome-Conditioned Visual Credit (OVC)}, a plug-in framework that separates visual-association measurement from token-level credit assignment and is adaptable to policy-optimization methods with uniform response-level advantage allocation. Relative Visual Encoding constructs a context-relative visual coordinate by contrasting each predictive state's affinity to image and prompt-context representations. Outcome-conditioned Evidence Calibration combines this coordinate with uncertainty-scaled predictive features and calibrates their contributions to outcome-discriminative evidence through mean contrasts between positive- and negative-advantage responses, scaled by regularized within-side variation. Visual association thus informs credit through observed outcome differences rather than directly determining update priority. Normalized Credit Allocation conditions the calibrated evidence on the response's advantage sign to produce positive token weights with unit global mean. These detached weights preserve advantage signs while modulating individual token-gradient contributions. OVC reuses existing rollouts without auxiliary reward models, process annotations, or inference-time modules. Instantiated through GSPO-token, OVC retains sequence-level clipping and consistently improves six-benchmark mean accuracy over GSPO across three models, with gains of 1.86-2.39 percentage points.