Mind the Spatial Gap: A Benchmark for Geospatial Reasoning and Constrained Spatial Editing
作者: Zheng Ren, Yanning Wang, Ziheng Huang, Fei Huang, Shiqi Wang, Ziqian Ye, Yang Yue
分类: cs.AI
发布日期: 2026-10-09
备注: 15 pages, 6 figures, 4 tables. Under Review at ICLR 2027
💡 一句话要点
提出GeoSpatialBench以解决空间推理与编辑能力不足的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 空间推理 几何约束 多模态学习 城市数据 AI系统 空间编辑 GeoSpatialBench
📋 核心要点
- 现有的多模态大型语言模型在空间推理方面的评估主要依赖静态问答，缺乏对动态空间编辑能力的考察。
- 本文提出GeoSpatialBench基准，旨在系统评估空间认知能力，包括空间关系理解、几何推理和受限空间编辑。
- 实验结果表明，结构化GeoJSON在空间推理任务中表现优于地图图像，且模型在编辑任务中的表现存在明显不足。
📝 摘要（中文）
理解和操控空间关系是AI系统推理物理环境和构建实际世界模型的基础。然而，现有的多模态大型语言模型（MLLMs）在空间推理的评估中主要依赖静态问答，缺乏对模型在满足几何约束下修改空间配置能力的考察。为此，本文提出GeoSpatialBench基准，旨在评估空间认知的逐步进展，包括空间关系理解、几何推理和受限空间编辑。基于六个地理多样化城市的真实城市数据，GeoSpatialBench评估了28种拓扑、方向、度量和排序关系，验证了地理信息系统（GIS）操作的真实参考和约束。实证评估显示，结构化GeoJSON在性能上优于地图图像，而多模态组合未能显著提升性能，模型在定性拓扑和排序上的表现合理，但在定量度量关系上表现下降。编辑性能在排序关系上相较于问答有所下降，且大多数失败的编辑违反了至少一个空间约束。这些结果揭示了被动识别空间关系与主动操控几何配置之间的差距。
🔬 方法详解
问题定义：本文旨在解决现有多模态大型语言模型在空间推理和编辑能力上的不足，尤其是在动态修改空间配置时未能满足几何约束的问题。
核心思路：提出GeoSpatialBench基准，通过真实城市数据评估模型在空间关系理解、几何推理和受限空间编辑方面的能力，填补现有评估的空白。
技术框架：GeoSpatialBench的整体架构包括数据收集、关系分类、模型评估和结果分析四个主要模块，涵盖28种空间关系的评估。
关键创新：最重要的创新点在于引入了基于真实城市数据的空间编辑任务，强调了模型在动态空间配置中的表现与静态问答的区别。
关键设计：在设计中，使用了结构化GeoJSON格式作为主要数据输入，结合GIS操作验证空间约束，并通过定量和定性指标评估模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，结构化GeoJSON在空间推理任务中表现优于地图图像，且在定性拓扑和排序关系上表现合理，但在定量度量关系上存在明显下降。编辑任务的表现相较于问答任务显著下降，且大多数失败的编辑违反了空间约束，揭示了模型在动态空间操作中的局限性。
🎯 应用场景
该研究的潜在应用领域包括智能城市规划、自动驾驶、机器人导航等，能够为AI系统提供更准确的空间理解和操作能力，推动物理世界模型的构建与应用。未来，GeoSpatialBench可能成为评估空间AI系统的重要标准，促进相关技术的发展与应用。
📄 摘要（原文）
Understanding and manipulating spatial relations is fundamental to AI systems that reason about physical environments and construct grounded world models. However, existing evaluations of multimodal large language models (MLLMs) for spatial reasoning rely predominantly on static question-answering (QA) over small-scale or synthetic scenes, rarely probing whether models can modify spatial configurations while satisfying explicit geometric constraints. We introduce GeoSpatialBench, a benchmark designed to evaluate an escalating progression of spatial cognition, ranging from spatial relation understanding and geometric reasoning to constrained spatial editing. Grounded in real-world urban data across six geographically diverse cities, GeoSpatialBench evaluates a comprehensive taxonomy of 28 topological, directional, metric, and ordering relations across structured GeoJSON and map image modalities, with ground-truth references and constraints verified via GIS operations. Our empirical evaluation across frontier MLLMs uncovers a stark spatial gap: structured GeoJSON consistently outperforms map images, with multimodal combinations offering no reliable gain over GeoJSON alone, and while models show reasonable competence on qualitative topological and ordering, performance drops on quantitative metric relations. Crucially, editing performance on ordering relations declines relative to QA, and most failed edits violate at least one specified spatial constraint. These results highlight a gap between passively recognizing spatial relations and actively manipulating geometric configurations. GeoSpatialBench provides an open, rigorous diagnostic testbed to benchmark these spatial limitations, laying essential empirical groundwork for physically grounded world models and embodied spatial AI.