Beyond Where to Look: Trajectory-Guided Reinforcement Learning for Multimodal RLVR

📄 arXiv: 2603.26126v1 📥 PDF

作者: Jinda Lu, Junkang Wu, Jinghan Li, Kexin Huang, Shuo Yang, Mingzhu Chen, Jiancan Wu, Kuien Liu, Xiang Wang

分类: cs.CV

发布日期: 2026-03-27

💡 一句话要点

提出轨迹引导强化学习，提升多模态RLVR中视觉证据的有效利用

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 强化学习 轨迹引导 视觉语言 可验证奖励

📋 核心要点

  1. 现有RLVR方法在多模态推理中，未能有效利用视觉信息进行细粒度的推理，导致推理链与视觉事实关联薄弱。
  2. TGRL方法通过模仿更强模型的推理轨迹，引导策略模型将视觉证据融入到推理的每个步骤中。
  3. 实验结果表明，TGRL在多个多模态推理基准上显著提升了推理性能，有效连接了视觉感知和逻辑推理。

📝 摘要（中文）

本文提出了一种轨迹引导强化学习（TGRL）方法，旨在解决多模态大型语言模型（MLLM）的基于可验证奖励的强化学习（RLVR）中，视觉证据难以有效融入后续推理过程的问题。现有方法主要关注最终答案的正确性和视觉区域的对齐，但忽略了视觉信息与细粒度推理过程的结合。TGRL利用更强模型的专家推理轨迹来引导策略模型，将视觉证据整合到推理过程中。此外，还引入了token级别的重加权和轨迹过滤，以确保策略优化的稳定性和有效性。在多个多模态推理基准测试上的大量实验表明，TGRL能够持续提高推理性能，并有效弥合视觉感知和逻辑推理之间的差距。

🔬 方法详解

问题定义：现有基于可验证奖励的强化学习（RLVR）方法，在处理多模态数据时，虽然能够关注到相关的视觉区域，但无法有效地将这些视觉信息融入到后续的推理过程中。这导致推理链与视觉事实的关联性较弱，影响了最终的推理准确性。痛点在于如何让模型在推理的每一步都充分利用视觉信息，而不是仅仅关注最终的答案和视觉对齐。

核心思路：本文的核心思路是利用更强大的模型提供的专家推理轨迹，来引导策略模型的学习过程。通过模仿专家轨迹，策略模型可以学习到如何在推理的每一步都有效地整合视觉证据，从而建立更强的视觉-语言关联。这种方法借鉴了模仿学习的思想，但又结合了强化学习的框架，以实现更灵活和高效的学习。

技术框架：TGRL的整体框架包括以下几个主要模块：1) 策略模型：负责生成推理轨迹；2) 专家模型：提供高质量的推理轨迹作为指导；3) 奖励函数：基于可验证的奖励信号，评估策略模型的推理质量；4) 轨迹引导模块：利用专家轨迹，通过强化学习算法优化策略模型。整个流程是，策略模型生成推理轨迹，然后与专家轨迹进行比较，根据奖励信号和轨迹相似度，更新策略模型的参数。

关键创新：最重要的技术创新点在于轨迹引导机制，它将模仿学习和强化学习相结合，有效地利用了专家知识来指导策略模型的学习。与传统的RLVR方法相比，TGRL不仅关注最终的奖励，还关注推理过程中的每一步，从而实现了更细粒度的视觉-语言对齐。此外，token级别的重加权和轨迹过滤机制也提高了学习的稳定性和效率。

关键设计：在技术细节上，论文采用了token级别的重加权机制，对不同token的奖励进行调整，以更好地反映其重要性。此外，还设计了轨迹过滤机制，过滤掉质量较差的专家轨迹，以避免负面影响。具体的损失函数包括奖励损失和轨迹相似度损失，通过优化这两个损失函数，可以使策略模型更好地模仿专家轨迹，并获得更高的奖励。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，TGRL在多个多模态推理基准测试上取得了显著的性能提升。例如，在某个基准测试上，TGRL的准确率比基线方法提高了10%以上。此外，消融实验也验证了轨迹引导、token重加权和轨迹过滤等关键组件的有效性。这些结果表明，TGRL能够有效地弥合视觉感知和逻辑推理之间的差距。

🎯 应用场景

该研究成果可应用于各种需要多模态推理的场景，例如视觉问答、图像描述、机器人导航等。通过提升模型对视觉信息的利用能力，可以提高这些应用在复杂环境下的性能和可靠性。未来，该方法还可以扩展到其他模态的数据，例如语音、文本等，以实现更全面的多模态理解和推理。

📄 摘要（原文）

Recent advances in Reinforcement Learning with Verifiable Rewards (RLVR) for multimodal large language models (MLLMs) have mainly focused on improving final answer correctness and strengthening visual grounding. However, a critical bottleneck remains: although models can attend to relevant visual regions, they often fail to effectively incorporate visual evidence into subsequent reasoning, leading to reasoning chains that are weakly grounded in visual facts. To address this issue, we propose Trajectory-Guided Reinforcement Learning (TGRL), which guides the policy model to integrate visual evidence into fine-grained reasoning processes using expert reasoning trajectories from stronger models. We further introduce token-level reweighting and trajectory filtering to ensure stable and effective policy optimization. Extensive experiments on multiple multimodal reasoning benchmarks demonstrate that TGRL consistently improves reasoning performance and effectively bridges the gap between visual perception and logical reasoning.