UniVLR: Unifying Text and Vision in Visual Latent Reasoning for Multimodal LLMs

📄 arXiv: 2605.11856v1 📥 PDF

作者: Houcheng Jiang, Jiajun Fu, Junfeng Fang, Chen Gao, Xiang Wang, Xiangnan He, Yong Li

分类: cs.CV, cs.CL

发布日期: 2026-05-12

💡 一句话要点

UniVLR：统一文本与视觉潜在推理，提升多模态LLM的视觉思维效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态LLM 视觉潜在推理 统一表示 视觉思维 文本视觉融合

📋 核心要点

  1. 现有视觉潜在推理方法依赖文本思维链与视觉tokens交织，导致效率低下且推理分散。
  2. UniVLR将文本推理和视觉证据统一为共享视觉空间，压缩为视觉潜在tokens。
  3. 实验表明，UniVLR在减少推理tokens的同时，性能优于现有方法，提升视觉思维效率。

📝 摘要（中文）

多模态大型语言模型越来越需要在图像上进行思考，但现有的视觉潜在推理方法仍然依赖于显式的文本思维链，并与视觉潜在tokens交织。这种交织设计限制了效率，并使推理在独立的文本和视觉通道中分散。我们提出了UniVLR，一个统一的视觉潜在推理框架，它将文本推理和辅助视觉证据视为一个共享的视觉工作空间。UniVLR没有保留文本CoT作为独立的推理时路径，而是将推理轨迹与辅助图像一起渲染，并学习将这种统一的表示压缩成紧凑的视觉潜在tokens。在推理时，模型仅通过视觉潜在tokens进行推理，并直接解码最终答案，避免了外部工具调用和冗长的文本推理。在真实世界的感知和视觉推理任务上的实验表明，UniVLR优于先前的视觉潜在推理方法，同时使用的生成推理tokens明显更少，这表明了一种更统一和高效的MLLM视觉思维范式。

🔬 方法详解

问题定义：现有视觉潜在推理方法通常依赖于文本的思维链（Chain-of-Thought, CoT）作为推理的主干，并将视觉信息以离散的方式穿插其中。这种交织的方式导致推理过程需要在文本和视觉通道之间频繁切换，效率较低，并且文本推理的冗余也增加了计算负担。此外，这种方法难以充分利用视觉信息进行深层次的推理。

核心思路：UniVLR的核心思想是将文本推理过程和辅助的视觉证据统一到一个共享的视觉工作空间中。通过将文本推理的轨迹（例如CoT）与相关的图像信息一起渲染，模型能够学习到一个更紧凑、更统一的视觉表示。这种统一的表示能够更好地捕捉文本和视觉信息之间的关联，从而实现更高效的推理。

技术框架：UniVLR的整体框架包括以下几个主要步骤：1) 将文本推理轨迹（例如CoT）与辅助图像进行渲染，形成一个统一的视觉表示；2) 使用编码器将该视觉表示压缩成紧凑的视觉潜在tokens；3) 在推理阶段，模型仅使用这些视觉潜在tokens进行推理，直接解码得到最终答案。该框架避免了在推理过程中使用文本CoT，从而提高了效率。

关键创新：UniVLR的关键创新在于它将文本推理和视觉信息融合到一个统一的视觉空间中，并学习将这种统一的表示压缩成视觉潜在tokens。与现有方法相比，UniVLR不再依赖于文本CoT作为推理的主干，而是直接通过视觉潜在tokens进行推理，从而实现了更高效的视觉思维。

关键设计：UniVLR的关键设计包括：1) 使用特定的渲染技术将文本推理轨迹和图像信息融合到一个视觉表示中；2) 设计一个高效的编码器，将该视觉表示压缩成紧凑的视觉潜在tokens；3) 设计一个解码器，能够仅使用视觉潜在tokens进行推理，并生成最终答案。具体的参数设置、损失函数和网络结构等细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

UniVLR在多个真实世界的感知和视觉推理任务上取得了显著的性能提升。实验结果表明，UniVLR在保持或超过现有视觉潜在推理方法性能的同时，显著减少了生成的推理tokens数量。这表明UniVLR能够以更高效的方式进行视觉思维，为多模态LLM的视觉推理提供了一种新的范式。

🎯 应用场景

UniVLR具有广泛的应用前景，例如在智能客服、自动驾驶、医疗诊断等领域，可以提升多模态LLM在复杂视觉场景下的推理能力。通过更高效地利用视觉信息，UniVLR可以帮助模型更好地理解真实世界，并做出更准确的决策。未来，该技术有望推动多模态人工智能的发展，实现更智能、更高效的人机交互。

📄 摘要（原文）

Multimodal large language models are increasingly expected to perform thinking with images, yet existing visual latent reasoning methods still rely on explicit textual chain-of-thought interleaved with visual latent tokens. This interleaved design limits efficiency and keeps reasoning fragmented across separate text and vision channels. We propose UniVLR, a unified visual latent reasoning framework that treats textual reasoning and auxiliary visual evidence as a shared visual workspace. Instead of preserving text CoT as an independent inference-time path, UniVLR renders reasoning traces together with auxiliary images and learns to compress this unified representation into compact visual latent tokens. At inference time, the model reasons only through visual latents and directly decodes the final answer, avoiding both external tool calls and verbose text reasoning. Experiments on real-world perception and visual reasoning tasks show that UniVLR outperforms prior visual latent reasoning methods while using substantially fewer generated reasoning tokens, suggesting a more unified and efficient paradigm for visual thinking in MLLMs.