Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks
作者: Xu Zheng, Zihao Dongfang, Lutao Jiang, Boyuan Zheng, Yulong Guo, Zhenquan Zhang, Giuliano Albanese, Runyi Yang, Mengjiao Ma, Zixin Zhang, Chenfei Liao, Dingcheng Zhen, Yuanhuiyi Lyu, Yuqian Fu, Bin Ren, Linfeng Zhang, Danda Pani Paudel, Nicu Sebe, Luc Van Gool, Xuming Hu
分类: cs.CV
发布日期: 2025-10-29 (更新: 2025-11-02)
🔗 代码/项目: GITHUB
💡 一句话要点
综述多模态空间推理大模型，并构建开放基准评测体系
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 空间推理 大型语言模型 具身智能 视觉语言导航 开放基准 场景理解
📋 核心要点
- 现有大型多模态模型在空间推理任务中表现出潜力，但缺乏系统的综述和公开基准来评估和比较这些模型。
- 本研究通过对多模态空间推理任务进行全面回顾，并构建开放基准，为该领域的研究提供基础和评估工具。
- 该综述涵盖了2D/3D空间推理、具身智能、新兴模态（音频、自中心视频）等多个方面，并提供了代码和基准实现。
📝 摘要（中文）
人类具备空间推理能力，可以通过视觉和听觉等多模态观察来理解空间。大型多模态推理模型通过学习感知和推理扩展了这些能力，并在各种空间任务中表现出良好的性能。然而，针对这些模型的系统性综述和公开基准仍然有限。本综述全面回顾了使用大型模型进行多模态空间推理的任务，对多模态大型语言模型（MLLM）的最新进展进行了分类，并介绍了用于评估的开放基准。首先概述了一般的空间推理，重点关注后训练技术、可解释性和架构。除了经典的2D任务外，还研究了空间关系推理、场景和布局理解，以及3D空间中的视觉问答和定位。同时回顾了具身智能的进展，包括视觉语言导航和动作模型。此外，还考虑了新兴的模态，如音频和以自我为中心的视频，它们通过新的传感器为新的空间理解做出贡献。我们相信这项综述为多模态空间推理这一不断发展的领域奠定了坚实的基础，并提供了深刻的见解。关于本综述的更新信息、代码和开放基准的实现可以在https://github.com/zhengxuJosh/Awesome-Spatial-Reasoning找到。
🔬 方法详解
问题定义：现有的大型多模态模型在空间推理任务中展现出潜力，但缺乏系统性的综述和公开可用的基准测试来评估和比较这些模型。这使得研究人员难以了解现有模型的优势和局限性，也难以开发更有效的模型。现有方法缺乏对不同模态信息融合的深入理解，以及对复杂空间关系的推理能力。
核心思路：本研究的核心思路是对多模态空间推理任务进行全面的梳理和分类，并构建一套开放的基准测试，以便于研究人员评估和比较不同模型的性能。通过分析现有模型的架构、训练方法和性能表现，揭示多模态空间推理的关键挑战和未来发展方向。
技术框架：该综述首先概述了通用的空间推理，包括后训练技术、可解释性和模型架构。然后，分别介绍了2D空间推理（空间关系推理、场景和布局理解）、3D空间推理（视觉问答和定位）以及具身智能（视觉语言导航和动作模型）等任务。此外，还探讨了音频和自中心视频等新兴模态在空间推理中的应用。最后，提供了一个开放的基准测试，用于评估不同模型在各种空间推理任务上的性能。
关键创新：该研究的关键创新在于对多模态空间推理任务进行了系统性的分类和综述，并构建了一个开放的基准测试。这为研究人员提供了一个统一的框架来理解和评估不同模型的性能，并促进了该领域的发展。与现有方法相比，该研究更加全面和系统，涵盖了更多的任务和模态。
关键设计：该综述对各种空间推理任务进行了详细的描述，并分析了不同模型的优缺点。基准测试包括多个数据集和评估指标，涵盖了不同的空间推理能力。具体的参数设置、损失函数和网络结构等技术细节取决于具体的模型和任务，本综述对这些细节进行了总结和分析。
🖼️ 关键图片
📊 实验亮点
该综述整理了多模态空间推理领域的最新进展，并提供了一个开放的基准测试，方便研究人员评估和比较不同模型的性能。该基准测试涵盖了多种空间推理任务和模态，为研究人员提供了一个全面的评估平台。项目主页提供了代码和基准实现，方便研究人员复现和改进。
🎯 应用场景
该研究成果可应用于机器人导航、自动驾驶、虚拟现实、增强现实等领域。通过提升模型的多模态空间推理能力，可以使机器更好地理解周围环境，从而实现更智能、更自主的交互。例如，机器人可以根据视觉和听觉信息进行导航，自动驾驶汽车可以更好地感知周围的交通状况，虚拟现实应用可以提供更逼真的沉浸式体验。
📄 摘要（原文）
Humans possess spatial reasoning abilities that enable them to understand spaces through multimodal observations, such as vision and sound. Large multimodal reasoning models extend these abilities by learning to perceive and reason, showing promising performance across diverse spatial tasks. However, systematic reviews and publicly available benchmarks for these models remain limited. In this survey, we provide a comprehensive review of multimodal spatial reasoning tasks with large models, categorizing recent progress in multimodal large language models (MLLMs) and introducing open benchmarks for evaluation. We begin by outlining general spatial reasoning, focusing on post-training techniques, explainability, and architecture. Beyond classical 2D tasks, we examine spatial relationship reasoning, scene and layout understanding, as well as visual question answering and grounding in 3D space. We also review advances in embodied AI, including vision-language navigation and action models. Additionally, we consider emerging modalities such as audio and egocentric video, which contribute to novel spatial understanding through new sensors. We believe this survey establishes a solid foundation and offers insights into the growing field of multimodal spatial reasoning. Updated information about this survey, codes and implementation of the open benchmarks can be found at https://github.com/zhengxuJosh/Awesome-Spatial-Reasoning.