InsightMap: Structured Spatial Modeling for Embodied Multimodal Reasoning

📄 arXiv: 2609.37187v1 📥 PDF

作者: Hongpei Zheng, Hujun Yin

分类: cs.CV, cs.RO

发布日期: 2026-09-29

💡 一句话要点

提出InsightMap以解决语言引导导航中的空间建模问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言引导导航 空间建模 多模态学习 机器人导航 智能家居 增强现实 虚拟现实

📋 核心要点

  1. 现有方法在语言引导导航中难以有效连接部分观察与持久空间表示，导致导航精度不足。
  2. InsightMap框架通过自上而下的地图作为空间记忆，结合多模态学习，提升导航和地图生成的效果。
  3. 在多个数据集上，InsightMap的成功率和准确性显著高于基线方法，展示了其有效性和优势。

📝 摘要（中文）

语言引导导航需要将部分观察与持久的空间参考连接，并学习如何通过动作改变该表示。我们提出了InsightMap框架，利用自上而下的地图作为显式空间记忆和动作条件预测目标。历史视图与标记的地图位置相连接，共享的多模态骨干网络共同学习导航动作预测和后续地图生成。地图预测提供辅助训练监督，而导航推理则从观察到的空间上下文解码动作。在R2R-CE和RxR-CE的验证未见分割上，InsightMap分别达到了56.9%和54.9%的成功率。添加地图预测监督使R2R-CE的成功率提高了4.3个百分点，路径长度加权成功率提高了3.2个百分点。

🔬 方法详解

问题定义：本论文旨在解决语言引导导航中部分观察与持久空间表示之间的连接问题。现有方法在处理动态环境和复杂任务时，常常无法有效更新空间表示，导致导航性能下降。

核心思路：InsightMap通过引入自上而下的地图作为显式空间记忆，结合历史视图与标记地图位置的关联，设计了一种多模态学习框架，能够同时进行导航动作预测和地图生成。这样的设计使得模型能够更好地理解和利用空间信息。

技术框架：InsightMap的整体架构包括多个主要模块：首先是历史视图的输入模块，其次是多模态骨干网络用于联合学习导航动作和地图生成，最后是基于观察的空间上下文进行导航推理的解码模块。

关键创新：InsightMap的主要创新在于将地图预测作为辅助训练监督，增强了模型在动态环境中的适应能力。这一方法与现有的单一任务学习方法有本质区别，能够同时处理多个任务。

关键设计：在模型设计中，采用了共享的多模态骨干网络，损失函数结合了导航动作预测和地图生成的损失，确保了两者的协同优化。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在R2R-CE和RxR-CE数据集上，InsightMap分别达到了56.9%和54.9%的成功率，显著优于基线方法NaVid和NaVILA。此外，添加地图预测监督后，R2R-CE的成功率提高了4.3个百分点，路径长度加权成功率提高了3.2个百分点，展示了其有效性。

🎯 应用场景

InsightMap的研究成果在多个领域具有广泛的应用潜力，包括机器人导航、智能家居、增强现实和虚拟现实等。其能够有效提升机器在复杂环境中的自主导航能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Language-guided navigation requires connecting partial observations to a persistent spatial reference and learning how actions change that representation. We introduce InsightMap, a framework that uses top-down maps as both explicit spatial memory and action-conditioned prediction targets. Historical views are linked to labeled map locations, and a shared multimodal backbone jointly learns navigation action prediction and post-action map generation. Map prediction provides auxiliary training supervision, while navigation inference decodes actions from the observed spatial context. An aligned RGB-D data pipeline supports a common interface for navigation, visual question answering, situated reasoning, and 3D grounding. On the validation-unseen splits of R2R-CE and RxR-CE, InsightMap achieves success rates (SR) of 56.9% and 54.9%, respectively. Adding map-prediction supervision improves R2R-CE SR by 4.3 and success weighted by path length (SPL) by 3.2 percentage points. On static spatial tasks, InsightMap achieves 103.7 CIDEr on ScanQA, 60.1% exact-match accuracy on SQA3D, and 53.1% grounding accuracy at 0.5 IoU on ScanRefer with detected object proposals. On Unitree Go2, it outperforms NaVid and NaVILA in hallway, lab, and office environments.