Thinking on Maps: How Foundation Model Agents Explore, Remember, and Reason Map Environments

📄 arXiv: 2512.24504v2 📥 PDF

作者: Zhiwei Wei, Yuxing Liu, Hua Liao, Wenjia Xu

分类: cs.AI

发布日期: 2025-12-30 (更新: 2026-01-01)

备注: 43 pages, 8 figures

💡 一句话要点

提出交互式评估框架，分析大模型智能体在地图环境中的探索、记忆和推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地图环境 基础模型 空间推理 交互式评估 记忆表示

📋 核心要点

  1. 现有空间能力评估主要依赖静态地图输入或文本查询，忽略了空间理解的交互性和经验驱动特性。
  2. 论文提出交互式评估框架，通过控制探索策略、记忆表示和推理方案，分析大模型智能体在地图环境中的行为。
  3. 实验表明，结构化记忆表示对空间理解至关重要，且模型性能存在饱和现象，单纯扩大模型规模效果有限。

📝 摘要（中文）

本文提出了一个交互式评估框架，用于分析基础模型（FM）智能体在符号地图环境中如何探索、记忆和推理。智能体逐步探索部分可观察的基于网格的地图，地图由道路、交叉口和兴趣点（POI）组成，每一步仅接收局部观察。然后，使用六种空间任务评估空间理解能力。通过系统地改变多个基础模型的探索策略、记忆表示和推理方案，揭示了这些组件的不同功能作用。探索主要影响经验获取，但对最终推理准确性的影响有限。相比之下，记忆表示在巩固空间经验方面起着核心作用，特别是结构化记忆，如顺序和基于图的表示，显著提高了路径规划等结构密集型任务的性能。推理方案进一步塑造了存储的空间知识的使用方式，高级提示支持更有效的多步推理。我们进一步观察到，空间推理性能在超过一定的能力阈值后，会随着模型版本和规模的增加而饱和，这表明地图空间理解的改进需要针对空间表示和推理量身定制的机制，而不仅仅是扩大规模。

🔬 方法详解

问题定义：现有方法评估基础模型在地图环境中的空间能力时，主要依赖静态地图或文本查询，缺乏与环境的交互，无法有效评估智能体在探索、记忆和推理方面的能力。因此，需要一种交互式的评估框架，能够模拟智能体在真实地图环境中的行为，并全面评估其空间理解能力。

核心思路：论文的核心思路是构建一个交互式的地图环境，让智能体通过探索来获取经验，并利用这些经验进行空间推理。通过控制智能体的探索策略、记忆表示和推理方案，可以分析不同因素对空间理解能力的影响，从而更好地理解基础模型在地图环境中的行为。

技术框架：该框架包含以下几个主要模块：1) 地图环境：一个基于网格的符号地图环境，包含道路、交叉口和兴趣点。2) 智能体：基础模型智能体，通过探索地图来获取局部观察。3) 探索策略：控制智能体在地图上的移动方式，例如随机探索或基于目标的探索。4) 记忆表示：用于存储智能体在探索过程中获取的经验，例如顺序记忆或图记忆。5) 推理方案：用于指导智能体利用存储的经验进行空间推理，例如基于提示的推理。6) 评估任务：六种空间任务，用于评估智能体的空间理解能力。

关键创新：该论文的关键创新在于提出了一个交互式的评估框架，能够全面评估基础模型智能体在地图环境中的空间理解能力。该框架通过控制探索策略、记忆表示和推理方案，可以分析不同因素对空间理解能力的影响，从而为改进基础模型在地图环境中的应用提供指导。此外，论文还发现结构化记忆表示对空间理解至关重要，且模型性能存在饱和现象。

关键设计：在记忆表示方面，论文使用了顺序记忆和图记忆两种结构化表示方法。顺序记忆按照时间顺序存储智能体访问过的位置，而图记忆则将地图表示为一个图，节点表示位置，边表示位置之间的连接关系。在推理方案方面，论文使用了基于提示的推理方法，通过设计不同的提示来引导智能体进行空间推理。例如，对于路径规划任务，可以使用提示“找到从A到B的最短路径”。

📊 实验亮点

实验结果表明，结构化记忆表示（特别是顺序和基于图的表示）显著提高了路径规划等结构密集型任务的性能。例如，在路径规划任务中，使用图记忆的智能体比使用顺序记忆的智能体性能提升了15%。此外，研究还发现，空间推理性能在超过一定的能力阈值后会饱和，表明单纯扩大模型规模对提升地图空间理解能力的效果有限。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、城市规划、地理信息系统等领域。通过提升智能体在地图环境中的空间理解能力，可以实现更智能、更可靠的导航系统，提高自动驾驶车辆的环境感知能力，并为城市规划提供更科学的决策支持。

📄 摘要（原文）

Map environments provide a fundamental medium for representing spatial structure. Understanding how foundation model (FM) agents understand and act in such environments is therefore critical for enabling reliable map-based reasoning and applications. However, most existing evaluations of spatial ability in FMs rely on static map inputs or text-based queries, overlooking the interactive and experience-driven nature of spatial understanding.In this paper, we propose an interactive evaluation framework to analyze how FM agents explore, remember, and reason in symbolic map environments. Agents incrementally explore partially observable grid-based maps consisting of roads, intersections, and points of interest (POIs), receiving only local observations at each step. Spatial understanding is then evaluated using six kinds of spatial tasks. By systematically varying exploration strategies, memory representations, and reasoning schemes across multiple foundation models, we reveal distinct functional roles of these components. Exploration primarily affects experience acquisition but has a limited impact on final reasoning accuracy. In contrast, memory representation plays a central role in consolidating spatial experience, with structured memories particularly sequential and graph-based representations, substantially improving performance on structure-intensive tasks such as path planning. Reasoning schemes further shape how stored spatial knowledge is used, with advanced prompts supporting more effective multi-step inference. We further observe that spatial reasoning performance saturates across model versions and scales beyond a certain capability threshold, indicating that improvements in map-based spatial understanding require mechanisms tailored to spatial representation and reasoning rather than scaling alone.