Enhancing Multimodal RLVR with Pairwise Token Contrast and Adaptive Trajectory Confidence

📄 arXiv: 2610.21671v1 📥 PDF

作者: Yiran Zhang, Hanbo Huang, Jielan Li, Zhen Zhao, Shiyu Liang, Hongxia Hao

分类: cs.CL

发布日期: 2026-10-15

💡 一句话要点

提出PACE以解决多模态RLVR中的奖励信号不均衡问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 强化学习 可验证奖励 成对token对比 自适应轨迹置信度 奖励信号优化 深度学习

📋 核心要点

  1. 现有多模态RLVR方法在奖励信号分配上存在不足，导致错误信息未能有效定位。
  2. 本文提出的PACE方法通过成对token对比和自适应轨迹置信度来优化奖励信号的分配。
  3. 实验结果显示，PACE在多个基准测试中表现最佳，且两个组成部分均显著提升了性能。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）提升了多模态推理能力，但现有方法在策略优化中将单一序列级优势均匀分配给每个响应的token，导致错误通常集中在少数关键步骤。为了解决这一问题，本文提出了成对token对比和自适应轨迹置信度（PACE）。该方法通过四种教师视角对每个响应进行评分，比较每个token的支持是否依赖于图像。实验表明，PACE在多个基准测试中表现优异，且其两个组成部分均对性能提升至关重要。

🔬 方法详解

问题定义：本文旨在解决多模态RLVR中奖励信号分配不均的问题。现有方法在策略优化时将单一优势均匀分配给所有token，无法有效识别错误的具体位置。

核心思路：PACE方法通过成对token对比和自适应轨迹置信度来优化奖励信号的分配，确保每个token的支持依据更为准确，避免了信息的过度共享。

技术框架：PACE的整体架构包括两个主要模块：成对token对比模块和自适应轨迹置信度模块。前者通过四种教师视角对每个响应进行评分，后者则根据教师对每个响应的预测能力来调整信号的分配。

关键创新：PACE的主要创新在于成对token对比的设计，通过对比不同视角下的提示，能够更准确地识别每个token的支持来源，显著提升了奖励信号的有效性。

关键设计：在实现过程中，采用了四种教师视角的评分机制，并通过归一化处理自适应轨迹置信度，以确保在批次内的信号分配合理。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PACE在三个基础模型上实现了最佳平均准确率，并在所有评估的多模态推理基准中排名第一。与传统方法相比，替换成对token对比为单视角信号的实验显示出显著的性能下降，而自适应轨迹置信度的引入则进一步提升了模型的表现。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动问答系统和多模态内容生成等。通过优化多模态推理过程，PACE能够提升系统在复杂场景下的决策能力，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) improves multimodal reasoning, but group-relative policy optimization broadcasts a single sequence-level advantage to every token of a response, although errors usually localize to a few decisive steps. Recent self-distilled variants refine credit with a teacher--student likelihood gap. However, this signal cannot tell whether it relies on the image or on a language shortcut, and is applied uniformly even when the teacher is uninformative. To address this, we propose Pairwise token contrast and Adaptive trajectory ConfidencE (PACE). Pairwise token contrast scores each response under four teacher views, crossing a correct or incorrect answer hint with the image present or removed, and compares the two hints for every token, which cancels shifts shared by both hints and reveals whether the token's support relies on the image. Adaptive trajectory confidence measures how well the teacher predicts each response given the correct hint and the image, normalizes this score within the batch, and uses it to set how far the token contrast redistributes credit within that response. PACE achieves the best average accuracy on three backbones and ranks first on all evaluated multimodal reasoning benchmarks with Qwen3-VL-8B-Instruct. Experiments show that both components matter: replacing pairwise token contrast with a single-view signal underperforms our method, while adaptive trajectory confidence adds further improvement.