Enhancing MLLM Spatial Understanding via Active 3D Scene Exploration for Multi-Perspective Reasoning

📄 arXiv: 2604.06725v1 📥 PDF

作者: Jiahua Chen, Qihong Tang, Weinong Wang, Qi Fan

分类: cs.CV

发布日期: 2026-04-08

💡 一句话要点

提出基于主动3D场景探索的MLLM空间理解增强框架，用于多视角推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 3D空间推理 主动场景探索 视角合成 3D重建

📋 核心要点

  1. 现有MLLM在3D空间推理方面受限于2D视觉先验，缺乏对几何信息的有效利用。
  2. 提出一种无需训练的框架，通过3D重建和视角合成，增强MLLM的空间理解能力。
  3. 实验表明，该框架在3D空间推理基准测试中超越了现有空间模型和通用MLLM。

📝 摘要（中文）

多模态大语言模型（MLLM）取得了显著进展，但由于依赖于2D视觉先验，在复杂的3D空间推理方面仍然存在困难。现有方法通常通过在有限的3D数据集上进行计算密集型的后训练，或通过缺乏明确几何理解和视角灵活性的刚性工具调用机制来缓解这一限制。为了解决这些挑战，我们提出了一个 extit{无需训练}的框架，该框架引入了一种基于显式3D重建的视觉链式思考机制。该流程首先使用MLLM引导的关键词提取和多粒度掩码生成，从单个图像重建高保真3D网格。随后，该框架利用外部知识库迭代计算最佳相机外参并合成新视角，从而模拟人类的视角转换。大量实验表明，该方法显著增强了空间理解能力。具体而言，该框架在3DSRBench和Rel3D等主要基准测试中优于专门的空间模型和通用MLLM，包括 extit{GPT-5.2}和 extit{Gemini-2.5-Flash}。

🔬 方法详解

问题定义：现有的多模态大语言模型（MLLM）在理解和推理3D空间信息时面临挑战。它们主要依赖于2D图像的视觉信息，缺乏对场景几何结构的深入理解，导致在需要多视角推理和空间关系判断的任务中表现不佳。现有方法要么需要耗费大量计算资源在3D数据集上进行后训练，要么依赖于缺乏灵活性的工具调用机制，无法有效提升MLLM的空间理解能力。

核心思路：本文的核心思路是通过显式的3D场景重建和主动视角探索来增强MLLM的空间理解能力。该方法模拟人类的视角转换过程，通过从不同视角观察场景，从而更全面地理解场景的几何结构和空间关系。这种方法无需对MLLM进行额外的训练，而是通过外部知识和算法来引导MLLM进行空间推理。

技术框架：该框架主要包含以下几个阶段：1) 3D重建：利用MLLM提取图像中的关键词和生成多粒度掩码，从而重建高保真度的3D网格模型。2) 视角合成：利用外部知识库，迭代计算最佳相机外参，并合成新的视角图像。3) 多视角推理：将不同视角的图像输入MLLM，进行多视角推理，从而增强对场景的理解。

关键创新：该方法最重要的创新点在于提出了一种无需训练的、基于主动3D场景探索的MLLM空间理解增强框架。与现有方法相比，该方法不需要对MLLM进行额外的训练，而是通过外部知识和算法来引导MLLM进行空间推理，从而降低了计算成本和数据需求。此外，该方法通过模拟人类的视角转换过程，实现了更灵活和有效的空间理解。

关键设计：在3D重建阶段，使用了MLLM来提取图像中的关键词和生成多粒度掩码，从而提高了3D重建的精度和效率。在视角合成阶段，使用了外部知识库来迭代计算最佳相机外参，从而实现了更智能和有效的视角探索。具体参数设置和损失函数等细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该框架在3DSRBench和Rel3D等主要基准测试中，超越了专门的空间模型和通用MLLM，包括GPT-5.2和Gemini-2.5-Flash。实验结果表明，该方法能够显著提升MLLM在3D空间推理任务中的性能，证明了主动3D场景探索对于增强MLLM空间理解的有效性。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、虚拟现实、增强现实等领域。通过增强MLLM的空间理解能力，可以提高机器人在复杂环境中的感知和决策能力，实现更智能的人机交互，并为用户提供更沉浸式的虚拟体验。未来，该技术有望在智能家居、智慧城市等领域发挥重要作用。

📄 摘要（原文）

Although Multimodal Large Language Models have achieved remarkable progress, they still struggle with complex 3D spatial reasoning due to the reliance on 2D visual priors. Existing approaches typically mitigate this limitation either through computationally expensive post-training procedures on limited 3D datasets or through rigid tool-calling mechanisms that lack explicit geometric understanding and viewpoint flexibility. To address these challenges, we propose a \textit{training-free} framework that introduces a Visual Chain-of-Thought mechanism grounded in explicit 3D reconstruction. The proposed pipeline first reconstructs a high-fidelity 3D mesh from a single image using MLLM-guided keyword extraction and mask generation at multiple granularities. Subsequently, the framework leverages an external knowledge base to iteratively compute optimal camera extrinsic parameters and synthesize novel views, thereby emulating human perspective-taking. Extensive experiments demonstrate that the proposed approach significantly enhances spatial comprehension. Specifically, the framework outperforms specialized spatial models and general-purpose MLLMs, including \textit{GPT-5.2} and \textit{Gemini-2.5-Flash}, on major benchmarks such as 3DSRBench and Rel3D.