Uni-LaDiR: Latent Diffusion Unifies Multimodal Reasoning

📄 arXiv: 2609.19878v1 📥 PDF

作者: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Yian Ma, Lianhui Qin

分类: cs.LG, cs.CL

发布日期: 2026-09-17

💡 一句话要点

提出Uni-LaDiR以解决多模态推理中的信息整合问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 潜在扩散 统一编码器 视觉-语言模型 机器人操作 信息整合 推理效率

📋 核心要点

  1. 现有多模态推理方法通过串联不同模态的思维标记，导致模型在推理时需处理表示差异，效率低下。
  2. Uni-LaDiR框架通过将不同模态的思维引入共享潜在空间，使用统一编码器和扩散模型进行有效推理。
  3. 在多个视觉-语言和视觉-语言-动作基准测试中，Uni-LaDiR在视觉推理和机器人操作任务上均取得显著性能提升。

📝 摘要（中文）

多模态推理要求模型在推理过程中利用来自多个模态的信息。然而，现有方法通常将模态特定的思维标记串联在单一序列中，导致模型在跨模态推理时需要弥合表示差异。本文提出了Uni-LaDiR（统一潜在扩散推理器），该框架将这些思维引入共享潜在空间进行推理。统一编码器将来自不同模态的教师推理步骤映射为共享思维标记，训练以保留后续推理步骤和最终答案所需的信息。由于相同的上下文可以支持多个有效的下一步，我们使用扩散预测输入和前置块的下一组思维标记。在推理时，模型在没有教师观察的情况下生成这些标记。在十一项视觉-语言模型基准和两项视觉-语言-动作套件中，Uni-LaDiR在视觉推理任务上相较于最强基线实现了7.3%的相对提升，在机器人操作任务上实现了6.1%的提升。

🔬 方法详解

问题定义：本文旨在解决多模态推理中信息整合的挑战，现有方法通过串联模态特定的思维标记，导致推理效率低下和表示差异问题。

核心思路：Uni-LaDiR通过将不同模态的思维引入共享潜在空间，利用统一编码器和扩散模型来实现有效的推理，确保信息的保留和推理的连贯性。

技术框架：该框架包括统一编码器和扩散推理器两个主要模块。统一编码器将来自不同模态的推理步骤映射为共享思维标记，而扩散推理器则根据输入和前置思维标记预测下一组思维标记。

关键创新：Uni-LaDiR的核心创新在于将不同模态的思维整合到共享潜在空间中，避免了传统方法中模态间的表示差异，从而提高了推理的效率和准确性。

关键设计：模型采用共享权重的方式联合训练编码器和扩散推理器，确保思维标记既对任务有用，又能从可用上下文中预测。损失函数设计上注重信息保留和推理连贯性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，Uni-LaDiR在视觉推理任务上相较于最强基线实现了7.3%的相对提升，在机器人操作任务上实现了6.1%的提升，显示出其在多模态推理中的显著优势。

🎯 应用场景

Uni-LaDiR的研究成果在多模态推理领域具有广泛的应用潜力，尤其是在视觉理解、机器人操作和人机交互等场景中。通过提升模型的推理能力，该方法能够有效支持复杂任务的自动化处理，推动智能系统的进一步发展。

📄 摘要（原文）

Multimodal reasoning requires models to draw on information from multiple modalities throughout the reasoning process. Yet existing methods often concatenate modality-specific thought tokens in a single sequence, leaving the model to bridge representational differences as it reasons across modalities. We introduce Uni-LaDiR (Unified Latent Diffusion Reasoner), a framework that brings these thoughts into a shared latent space for reasoning. A unified encoder maps teacher reasoning steps from different modalities into shared thought tokens, trained to preserve the information needed for later reasoning steps and the final answer or action. Because the same context can support multiple valid next steps, we use diffusion to predict the next block of thought tokens from the input and preceding blocks. Jointly training the encoder and diffusion reasoner with shared model weights encourages thought tokens to be both useful for the task and predictable from the available context. At inference, the model generates these tokens without teacher observations. Across eleven vision-language model (VLM) benchmarks and two vision-language-action (VLA) suites, Uni-LaDiR achieves relative gains over the strongest evaluated baselines of 7.3% on visual reasoning tasks and 6.1% on robot manipulation tasks.