Mind over Space: Can Multimodal Large Language Models Mentally Navigate?
作者: Qihui Zhu, Shouwei Ruan, Xiao Yang, Hao Jiang, Yao Huang, Shiji Zhao, Hanwei Fan, Hang Su, Xingxing Wei
分类: cs.AI
发布日期: 2026-03-23
💡 一句话要点
提出NavMind模型，提升多模态大语言模型在复杂环境下的心智导航能力
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 心智导航 认知地图 具身智能 空间推理 路径规划 Video2Mental基准
📋 核心要点
- 现有MLLM在空间推理上存在不足，无法有效进行长时序、大范围的心智导航。
- 提出NavMind模型，通过显式认知地图作为中间表征，模拟人类的心智导航过程。
- 实验表明，NavMind显著提升了MLLM的心智导航能力，优于现有商业和空间MLLM。
📝 摘要（中文）
尽管多模态大语言模型（MLLMs）在具身智能体中得到广泛应用，但它们的能力主要局限于基于即时观察的反应式规划，在跨越广阔时空尺度的空间推理方面持续失败。认知科学表明，生物智能（BI）依赖于“心智导航”：从经验中策略性地构建空间表征，并在行动前进行路径的心理模拟。为了弥合AI和BI之间的差距，我们引入了Video2Mental，这是一个用于评估MLLMs心智导航能力的基准。该任务要求从长期的自我中心视频中构建分层认知地图，并逐步生成基于地标的路径规划，并通过基于模拟器的物理交互来验证规划的准确性。我们的基准测试结果表明，心智导航能力并非自然地从标准预训练中涌现。前沿的MLLMs在零样本结构化空间表征方面表现不佳，并且它们的规划准确性随着时间的推移而急剧下降。为了克服这个问题，我们提出了NavMind，一个推理模型，它使用显式的、细粒度的认知地图作为可学习的中间表征来内化心智导航。通过难度分层的渐进式监督微调范式，NavMind有效地弥合了原始感知和结构化规划之间的差距。实验表明，NavMind实现了卓越的心智导航能力，显著优于前沿的商业和空间MLLMs。
🔬 方法详解
问题定义：论文旨在解决多模态大语言模型（MLLMs）在复杂环境下的心智导航问题。现有MLLMs主要依赖于即时观察进行反应式规划，缺乏像人类一样的空间推理能力，尤其是在需要长时序、大范围规划的场景下，性能会显著下降。现有的方法无法有效地构建和利用空间表征，导致规划准确性低。
核心思路：论文的核心思路是借鉴生物智能的心智导航机制，通过让MLLM学习构建和利用显式的认知地图来进行路径规划。具体来说，就是将原始的感知输入转化为结构化的空间表征，然后基于这些表征进行推理和规划，从而提高规划的准确性和鲁棒性。这种方法模拟了人类在陌生环境中通过构建心理地图来进行导航的过程。
技术框架：NavMind的技术框架主要包括以下几个模块：1) 视频输入模块：接收自我中心视角视频作为输入。2) 认知地图构建模块：从视频中提取地标信息，构建分层的认知地图。3) 路径规划模块：基于认知地图，生成基于地标的路径规划。4) 模拟器验证模块：在模拟器中执行规划的路径，验证规划的准确性。整个流程通过一个难度分层的渐进式监督微调范式进行训练，逐步提升模型的心智导航能力。
关键创新：论文最重要的技术创新点在于引入了显式的、细粒度的认知地图作为MLLM的中间表征。与以往直接从原始感知输入进行规划的方法不同，NavMind通过构建认知地图，将原始感知转化为结构化的空间信息，从而更好地进行推理和规划。这种方法更符合人类的心智导航机制，也更容易进行解释和调试。
关键设计：NavMind的关键设计包括：1) 分层认知地图的构建方式，如何有效地提取和组织地标信息。2) 难度分层的渐进式监督微调范式，如何逐步提升模型的心智导航能力。3) 损失函数的设计，如何有效地指导模型学习构建和利用认知地图。具体的网络结构和参数设置在论文中应该有更详细的描述（未知）。
🖼️ 关键图片
📊 实验亮点
NavMind在Video2Mental基准测试中取得了显著的性能提升，超越了现有的商业和空间MLLM。具体的性能数据和提升幅度需要在论文中查找（未知），但摘要中明确指出NavMind实现了卓越的心智导航能力，表明该方法在提升MLLM的空间推理和规划能力方面具有显著优势。
🎯 应用场景
该研究成果可应用于机器人导航、自动驾驶、虚拟现实等领域。通过提升机器在复杂环境下的空间推理和规划能力，可以实现更智能、更自主的导航系统。例如，在仓库机器人、家庭服务机器人等场景中，可以帮助机器人更好地理解环境，规划路径，完成任务。此外，该研究也有助于我们更深入地理解人类的心智导航机制。
📄 摘要（原文）
Despite the widespread adoption of MLLMs in embodied agents, their capabilities remain largely confined to reactive planning from immediate observations, consistently failing in spatial reasoning across extensive spatiotemporal scales. Cognitive science reveals that Biological Intelligence (BI) thrives on "mental navigation": the strategic construction of spatial representations from experience and the subsequent mental simulation of paths prior to action. To bridge the gap between AI and BI, we introduce Video2Mental, a pioneering benchmark for evaluating the mental navigation capabilities of MLLMs. The task requires constructing hierarchical cognitive maps from long egocentric videos and generating landmark-based path plans step by step, with planning accuracy verified through simulator-based physical interaction. Our benchmarking results reveal that mental navigation capability does not naturally emerge from standard pre-training. Frontier MLLMs struggle profoundly with zero-shot structured spatial representation, and their planning accuracy decays precipitously over extended horizons. To overcome this, we propose \textbf{NavMind}, a reasoning model that internalizes mental navigation using explicit, fine-grained cognitive maps as learnable intermediate representations. Through a difficulty-stratified progressive supervised fine-tuning paradigm, NavMind effectively bridges the gap between raw perception and structured planning. Experiments demonstrate that NavMind achieves superior mental navigation capabilities, significantly outperforming frontier commercial and spatial MLLMs.