Reinforcement Learning with Visually Attributable On-Policy Self-Distillation

📄 arXiv: 2610.26856v1 📥 PDF

作者: Shiao Xie, Siyu Chen, Jianwei Lv, Xiandong Li, Yujin Wang

分类: cs.CV, cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出视觉可归因的在线自蒸馏强化学习以解决视觉推理中的错误定位问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态强化学习 视觉推理 在线自蒸馏 特权教师 视觉证据 纠正污染 视觉归因门控

📋 核心要点

  1. 现有的多模态强化学习方法在视觉推理中对错误定位的指导不足，导致纠正效果不理想。
  2. 论文提出了一种新的视觉可归因在线自蒸馏强化学习方法，通过特权教师提供基于视觉证据的标记级纠正。
  3. 实验结果显示，所提方法在六个视觉推理基准上表现优异，超越了现有的GRPO和OPSD方法，达到了新的性能水平。

📝 摘要（中文）

多模态强化学习与可验证奖励（RLVR）提供了可靠的任务级监督，但在视觉推理中对错误定位的指导有限。在线自蒸馏（OPSD）通过特权教师提供密集的标记级纠正，补充了这种监督。然而，纠正可能会混淆视觉证据与由语言先验、响应风格或特权视图本身引起的非视觉偏移。我们将这一现象正式化为特权纠正污染：当更新方向无法一致归因于特权视觉证据时，标记级纠正就会受到污染。为了解决这一问题，我们提出了视觉可归因的在线自蒸馏强化学习，这是一种证据一致的范式，增强了基于视觉证据的特权标记级纠正。通过视觉归因门控（VAG），我们使用验证者导出的优势作为优化锚点，并根据证据存在与证据退化教师视图之间的对比来验证每个特权纠正。实验表明，VAG在六个视觉推理基准上均优于GRPO和OPSD方法，建立了新的最先进的平均性能。

🔬 方法详解

问题定义：本论文旨在解决在多模态强化学习中，特权教师提供的纠正可能受到非视觉因素的污染，导致错误的标记级更新。现有方法未能有效区分视觉证据与其他干扰因素。

核心思路：提出视觉可归因的在线自蒸馏强化学习，通过引入视觉归因门控（VAG），确保特权纠正仅基于视觉证据，从而提高纠正的准确性和有效性。

技术框架：整体架构包括任务级RLVR监督与特权标记级纠正两个主要模块。VAG模块通过验证者导出的优势作为优化锚点，确保纠正方向与视觉证据一致。

关键创新：最重要的创新在于引入了视觉归因门控（VAG），它通过对比证据存在与证据退化的教师视图，筛选出有效的纠正，避免了特权纠正污染的问题。

关键设计：在参数设置上，VAG模块的设计确保了纠正的方向性支持，损失函数则结合了视觉证据的对比，确保了优化过程的稳定性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，视觉归因门控（VAG）在六个视觉推理基准上均优于传统的GRPO和OPSD方法，达到了新的最先进的平均性能，具体提升幅度达到XX%（具体数据需根据实验结果填写）。

🎯 应用场景

该研究的潜在应用领域包括智能视觉系统、自动驾驶、机器人视觉等，能够有效提升这些系统在复杂环境中的决策能力和推理准确性。未来，随着技术的进一步发展，该方法可能在更广泛的多模态学习任务中发挥重要作用。

📄 摘要（原文）

Multimodal reinforcement learning with verifiable rewards (RLVR) provides reliable task-level supervision, yet offers limited guidance for localizing errors in visual reasoning. On-policy self-distillation (OPSD) complements this supervision with dense token-level corrections from a privileged teacher equipped with an evidence-centered visual view. However, the resulting corrections may conflate visual evidence with non-visual shifts induced by linguistic priors, response style, or the privileged view itself. We formalize this phenomenon as privileged-correction contamination: a token-level correction is contaminated when its update direction cannot be consistently attributed to the privileged visual evidence. Directly distilling contaminated corrections may therefore reinforce erroneous token-level updates. To address this issue, we propose reinforcement learning with visually attributable on-policy self-distillation, an evidence-consistent paradigm that augments task-level RLVR supervision with privileged token-level corrections grounded in visual evidence. We instantiate this paradigm with Visual-Attribution Gating (VAG), which uses the verifier-derived advantage as the optimization anchor and validates each privileged correction against the contrast between evidence-present and evidence-degraded teacher views. By admitting only corrections directionally supported by this visual contrast, VAG preserves visually grounded guidance while suppressing inconsistent residuals. Experiments across six visual reasoning benchmarks show that VAG consistently outperforms GRPO and OPSD methods, establishing new state-of-the-art average performance.