Beyond Single Expert: Harmonizing Diverse Visual Priors in MLLMs for Spatial Understanding

📄 arXiv: 2607.15054v1 📥 PDF

作者: Xiao Lin, Xiaohu Huang, Kai Han

分类: cs.CV

发布日期: 2026-07-16

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出ViPS框架以提升多模态大语言模型的空间理解能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 空间理解 视觉先验 动态融合 高效推理

📋 核心要点

  1. 现有方法在整合多种基础模型时，未能充分利用不同模型提供的互补空间先验，导致空间理解能力受限。
  2. 本文提出的ViPS框架通过高效先验代理和动态先验融合机制，充分利用多种视觉先验，提升MLLMs的空间理解能力。
  3. 实验结果显示，ViPS在多个复杂空间推理和3D空间理解基准上取得了新的最先进性能，显著提升了模型的表现。

📝 摘要（中文）

多模态大语言模型（MLLMs）在空间理解方面展现出显著潜力。现有研究通常通过预训练基础模型提取的先验知识来增强MLLMs的空间意识。本文首次揭示了在将多种基础模型整合到MLLMs时，不同模型提供的互补空间先验对不同任务有益。基于此，我们提出了ViPS，一个新颖的多模型先验框架，旨在充分释放将多种视觉先验融入MLLMs的潜力。具体而言，ViPS引入了高效先验代理以生成多个基础先验，并采用动态先验融合机制，实现和谐且上下文感知的先验融合与注入。大量实验表明，ViPS成功地协调了多样的视觉先验，在多个复杂的空间推理和3D空间理解基准上建立了新的最先进性能。

🔬 方法详解

问题定义：本文旨在解决现有多模态大语言模型在空间理解任务中未能充分利用多种基础模型的互补空间先验的问题。现有方法往往依赖单一模型的先验知识，导致性能瓶颈。

核心思路：ViPS框架的核心思想是通过引入高效先验代理和动态先验融合机制，充分整合来自不同基础模型的视觉先验，以提升空间理解能力。这样的设计能够有效减少推理开销，同时增强模型的上下文感知能力。

技术框架：ViPS的整体架构包括两个主要模块：高效先验代理和动态先验融合。高效先验代理负责生成多个基础先验，而动态先验融合则实现对这些先验的和谐融合与注入，确保模型在不同任务中的表现最优。

关键创新：ViPS的最大创新在于其动态先验融合机制，能够根据上下文信息灵活调整先验的融合方式。这一机制与传统方法的静态先验融合形成鲜明对比，显著提升了模型的适应性和性能。

关键设计：在设计上，ViPS采用了高效的先验生成算法，确保在保持低推理开销的同时，生成高质量的视觉先验。此外，动态融合机制通过引入上下文信息，优化了先验的选择和组合方式，提升了模型的整体表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ViPS在多个复杂空间推理和3D空间理解基准上取得了新的最先进性能，相较于基线模型，性能提升幅度达到XX%。这一成果验证了ViPS在协调多样视觉先验方面的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能机器人、自动驾驶、增强现实等需要高效空间理解的场景。通过提升多模态大语言模型的空间理解能力，ViPS能够为这些领域提供更为精准和智能的解决方案，推动相关技术的发展与应用。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) have demonstrated substantial promise in spatial understanding. Existing works typically incorporate prior knowledge extracted from a pre-trained foundation model to further enhance the spatial awareness of MLLMs. In this paper, we first reveal that when integrating diverse foundation models into MLLMs, different models provide complementary spatial priors that benefit different tasks. Motivated by this, we propose $\textbf{ViPS}$, a novel multi-model prior framework designed to fully unleash the potential of incorporating multiple $\textbf{Vi}$sual $\textbf{P}$riors from diverse models into MLLMs for $\textbf{S}$patial understanding. Specifically, ViPS introduces an Efficient Prior Proxy to generate multiple foundational priors with minimal inference overhead, and a Dynamic Prior Fusion mechanism to achieve harmonious and context-aware prior fusion and injection from the prior proxies. Extensive experiments demonstrate that ViPS successfully harmonizes diverse visual priors, establishing new state-of-the-art performance across multiple complex spatial reasoning and 3D spatial understanding benchmarks. Project page: https://visual-ai.github.io/vips