PEAR: Adaptive Advantage Reshaping for Perception and Exploration in Large Vision-Language Models

📄 arXiv: 2610.32216v1 📥 PDF

作者: Junxin Wang, Yingfeng Luo, Xiangchen Song, Weiqiao Shan, Runsong Zhao, Xinyu Liu, Shunjie Xing, Yifu Huo, Dingyang Lin, Qiuyu Gu, Yongyu Mu, Chenglong Wang, Changliang Li, Jingbo Zhu, Tong Xiao

分类: cs.AI

发布日期: 2026-10-23

💡 一句话要点

提出PEAR以解决多模态推理中的探索不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉依赖性 熵值计算 自适应重塑 探索增益 深度学习 模型优化

📋 核心要点

  1. 现有方法在多模态推理中未能充分利用高熵标记的潜力，导致探索路径不足。
  2. PEAR通过在高熵位置增加探索增益，结合视觉依赖性，重新塑造序列级优势。
  3. 在Qwen2.5-VL-3B/7B的实验中，PEAR在多模态推理基准上取得了最佳平均性能。

📝 摘要（中文）

有效的多模态推理要求模型能够可靠地利用视觉信息，同时充分探索多样的推理路径。现有方法通过结合视觉依赖性和标记熵来重塑序列级优势，但在高熵位置的低视觉依赖性标记可能被低估。为了解决这一限制，本文提出了PEAR，一种自适应优势重塑方法，旨在改善多模态推理中的感知和探索。PEAR将视觉依赖性作为基础信号，并在高熵位置增加基于熵的探索增益，低视觉依赖性会导致更大的额外增益。实验结果表明，PEAR在多模态推理基准测试中表现优异，超越了评估的基线。

🔬 方法详解

问题定义：本文旨在解决多模态推理中高熵标记的低视觉依赖性被低估的问题，现有方法未能充分利用这些标记的潜力，导致推理探索不足。

核心思路：PEAR的核心思路是将视觉依赖性作为基础信号，并在高熵位置引入额外的探索增益，特别是在低视觉依赖性情况下，增加其权重，以促进更全面的推理探索。

技术框架：PEAR的整体架构包括三个主要模块：首先是视觉依赖性信号的提取，其次是熵值计算以识别高熵位置，最后是将融合信号映射到正的标记级权重，从而重塑序列级优势。

关键创新：PEAR的创新点在于自适应地调整高熵位置的权重，区别于以往方法简单地结合视觉依赖性和熵值，能够更有效地利用多模态信息进行推理。

关键设计：在设计中，PEAR采用了动态权重调整机制，确保在低视觉依赖性情况下，熵值较高的标记能够获得更大的权重。此外，损失函数设计上也考虑了多模态信息的融合效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Qwen2.5-VL-3B/7B的实验中，PEAR在多模态推理基准测试中达到了最高的平均性能，相较于其他基线方法，表现出显著的提升，尤其在文本推理和一般多模态基准上也取得了领先结果。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动驾驶、机器人视觉等，需要处理复杂的多模态信息并进行推理的场景。PEAR的设计能够提升模型在这些领域的表现，促进更智能的决策和交互。未来，PEAR可能会影响多模态学习的研究方向，推动更高效的模型设计。

📄 摘要（原文）

Effective multimodal reasoning requires a model to reliably utilize visual information while sufficiently exploring diverse reasoning paths. To achieve this goal, prior work combines visual dependency and token entropy to reshape sequence-level advantages, but scaling the contribution of token entropy by visual dependency can leave high-entropy tokens with low visual dependency underweighted, despite their important role in reasoning exploration. To address this limitation, we propose PEAR, an adaptive advantage reshaping method for improving perception and exploration in multimodal reasoning. PEAR retains visual dependency as the base signal and adds an entropy-based exploration gain only at high-entropy positions, with lower visual dependency leading to a larger additional gain. The fused signal is then mapped to positive token-level weights that reshape the sequence-level advantage. Experiments on Qwen2.5-VL-3B/7B show that PEAR achieves the highest average performance among evaluated baselines across multimodal reasoning benchmarks, alongside leading results on textual reasoning and general multimodal benchmarks.