Rethinking Latent Visual Reasoning: Grounding Latent Reasoning in Visual Evidence

📄 arXiv: 2609.34563v1 📥 PDF

作者: Xi Xiao, Tianchen Zhao, Youngeun Kim, Zhuowei Li, Linghan Xu, Jiaye Wu, Zheng Zhang, Xiang Xu, Xuanbai Chen, Farhan Tejani, Jakub Zablocki, Julia Xu, Yifan Xing

分类: cs.CV, cs.CL, cs.LG

发布日期: 2026-09-28

备注: 39 pages. Project page: https://xixiaouab.github.io/projects/ReaLVR/

💡 一句话要点

提出ReaLVR以解决潜在视觉推理中的证据缺口问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 潜在视觉推理 多模态大型语言模型 视觉证据监督 模型训练 推理能力提升

📋 核心要点

  1. 现有的潜在视觉推理方法在监督潜在标记学习时存在不足，导致模型对图像扰动的反应较弱。
  2. 本文提出ReaLVR，通过对比正确答案和模型生成的错误答案，增强潜在标记的视觉证据监督。
  3. 实验结果显示，ReaLVR在多个模型上均表现优异，特别是在Qwen2.5-VL-7B模型上实现了63.7%的五任务平均准确率。

📝 摘要（中文）

潜在视觉推理（LVR）使多模态大型语言模型（MLLMs）能够在连续的潜在标记中进行中间计算，而不是用文字表达每一步推理。然而，与文本链（CoT）不同，潜在推理不可直接观察，导致难以监督潜在标记的学习。本文通过分析潜在标记行为，发现潜在证据信用缺口，提出ReaLVR方法，通过引入视觉证据监督来弥补这一缺口。实验表明，ReaLVR在多个模型家族中均优于现有LVR基线，尤其在Qwen2.5-VL-7B模型上取得63.7%的五任务平均成绩，展示了在最大规模模型（高达235B）上的稳健改进。

🔬 方法详解

问题定义：本文旨在解决潜在视觉推理中潜在标记对视觉证据的响应不足的问题。现有方法在训练过程中缺乏明确的监督，导致潜在标记未能有效学习如何利用视觉信息。

核心思路：ReaLVR通过引入视觉证据监督，帮助模型在自由运行的潜在轨迹中更好地识别和保留重要的视觉信息。该方法通过对比正确和错误答案，指导模型在推理过程中关注相关的视觉证据。

技术框架：ReaLVR的整体架构包括潜在标记生成、视觉证据对比和监督反馈三个主要模块。首先生成潜在标记，然后与真实答案进行对比，最后根据对比结果调整潜在标记的学习方向。

关键创新：ReaLVR的主要创新在于将视觉证据监督引入潜在推理过程，解决了传统方法中潜在证据信用缺口的问题。这一设计使得模型能够更有效地利用视觉信息，从而提升推理能力。

关键设计：在ReaLVR中，设计了新的损失函数以平衡正确答案和错误答案之间的监督力度，同时优化了潜在标记的生成网络结构，以增强其对视觉区域的敏感性。通过这些设计，模型在推理时能够更好地依赖于最相关的视觉信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ReaLVR在多个模型家族中均表现出色，特别是在Qwen2.5-VL-7B模型上实现了63.7%的五任务平均准确率，显著优于现有LVR基线。此外，该方法在最大规模模型（高达235B）上仍能保持稳健的性能提升，展示了其广泛的适用性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和人机交互等。通过提升模型在视觉推理任务中的表现，ReaLVR可以为智能助手、自动驾驶、医疗影像分析等实际场景提供更为精准的决策支持，推动相关技术的进步与应用。

📄 摘要（原文）

Latent visual reasoning (LVR) enables multimodal large language models (MLLMs) to perform intermediate computation in continuous latent tokens rather than expressing every reasoning step in words. However, unlike textual CoT, latent reasoning is not directly observable, making it difficult to supervise what latent tokens learn. In this work, we first conduct a thorough analysis of latent-token behavior and identify a latent evidence-credit gap: latent tokens respond only weakly to image perturbations that alter the correct answer. We hypothesize that this issue stems from the lack of explicit supervision during GRPO training. These findings suggest that a final-answer reward provides too little guidance on what visual evidence to preserve or how credit should be assigned across latent tokens. To bridge this gap, we propose ReaLVR, which brings visual-evidence supervision to the model's own free-running latent trajectories. ReaLVR contrasts correct and model-generated wrong answers to determine where stronger supervision is needed, and relevant and mismatched visual evidence to specify what to preserve. Across three model families, ReaLVR consistently outperforms evaluated LVR baselines, achieving the highest five-task average of 63.7% on Qwen2.5-VL-7B. Crucially, we are the first to scale visual reasoning in latent space, showing that our framework continues to deliver robust improvements at frontier model scales up to 235B. Further analyses show more question-sensitive latent-token positions, stronger alignment with relevant visual regions, and greater fixed-context dependence on the most attended latent tokens.