MapQA: Open-domain Geospatial Question Answering on Map Data
作者: Zekun Li, Malcolm Grossman, Eric, Qasemi, Mihir Kulkarni, Muhao Chen, Yao-Yi Chiang
分类: cs.CL, cs.AI, cs.IR
发布日期: 2025-03-10
💡 一句话要点
提出MapQA数据集，用于开放域地图数据的地理空间问答任务
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地理空间问答 数据集构建 OpenStreetMap SQL查询 大型语言模型
📋 核心要点
- 现有地理空间问答数据集规模和多样性有限，且忽略了地理实体的几何信息，难以支持复杂的地理空间推理。
- 提出MapQA数据集，包含地理实体的几何信息和多种地理空间推理问题，利用SQL查询模板从OpenStreetMap构建。
- 实验表明，基于检索的模型擅长捕捉邻近关系，但难以进行复杂计算；LLM擅长单跳推理，但在多跳推理方面存在瓶颈。
📝 摘要（中文）
地理空间问答（QA）是导航和兴趣点（POI）搜索中的一项基本任务。现有的地理空间QA数据集在规模和多样性方面都存在局限性，通常仅依赖于地理实体的文本描述，而忽略了它们的几何形状。扩展用于推理的地理空间QA数据集的一个主要挑战在于地理空间关系的复杂性，这需要整合空间结构、拓扑依赖关系和多跳推理能力，而大多数基于文本的QA数据集缺乏这些能力。为了解决这些限制，我们引入了MapQA，这是一个新颖的数据集，它不仅提供问答对，还包括问题中引用的地理实体的几何形状。MapQA使用SQL查询模板从OpenStreetMap（OSM）中提取问答对，用于两个研究区域：南加利福尼亚州和伊利诺伊州。它包含3,154个QA对，涵盖需要地理空间推理的九种问题类型，例如邻域推断和地理实体类型识别。与现有数据集相比，MapQA扩展了地理空间问题类型的数量和多样性。我们探索了两种方法来应对这一挑战：（1）一种基于检索的语言模型，通过嵌入相似性对候选地理实体进行排序，以及（2）一种大型语言模型（LLM），它从自然语言问题和地理实体属性生成SQL查询，然后针对OSM数据库执行这些查询。我们的研究结果表明，基于检索的方法有效地捕捉了诸如接近度和方向之类的概念，但在需要显式计算（例如，距离计算）的问题上表现不佳。LLM（例如，GPT和Gemini）擅长为单跳推理生成SQL查询，但在多跳推理方面面临挑战，这突出了推进地理空间QA系统的一个关键瓶颈。
🔬 方法详解
问题定义：论文旨在解决开放域地理空间问答问题，现有方法主要依赖文本描述，忽略了地理实体的几何信息，导致无法进行复杂的空间推理，例如距离计算、邻域推断等。现有数据集规模和多样性不足，难以训练和评估模型。
核心思路：论文的核心思路是构建一个包含地理实体几何信息和多样化地理空间推理问题的数据集MapQA。通过SQL查询模板从OpenStreetMap中提取问答对，并包含地理实体的几何信息，从而支持模型学习和推理地理空间关系。
技术框架：整体框架包含数据构建和模型评估两个部分。数据构建阶段，使用SQL查询模板从OpenStreetMap提取问答对，并包含地理实体的几何信息。模型评估阶段，采用两种方法：基于检索的语言模型和基于LLM的SQL生成模型。基于检索的模型通过嵌入相似度对候选地理实体进行排序，基于LLM的模型将自然语言问题转换为SQL查询，并在OSM数据库上执行。
关键创新：MapQA数据集是关键创新，它不仅包含问答对，还包含地理实体的几何信息，从而支持模型学习和推理地理空间关系。此外，数据集的多样性也更高，包含九种需要地理空间推理的问题类型。
关键设计：SQL查询模板的设计是关键。论文设计了九种不同类型的SQL查询模板，用于从OpenStreetMap中提取问答对。这些模板涵盖了常见的地理空间推理问题，例如邻域推断、距离计算、类型识别等。对于基于检索的模型，使用了预训练的语言模型来嵌入问题和地理实体，并使用余弦相似度来计算相似度。对于基于LLM的模型，使用了GPT和Gemini等大型语言模型来生成SQL查询。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于检索的模型在捕捉邻近关系和方向等概念方面表现良好，但难以处理需要显式计算的问题。LLM在生成单跳推理的SQL查询方面表现出色，但在多跳推理方面面临挑战。这些结果揭示了现有方法在地理空间问答方面的局限性，并为未来的研究方向提供了指导。
🎯 应用场景
该研究成果可应用于智能导航、位置服务、城市规划等领域。例如，可以开发更智能的导航系统，能够理解用户关于地理位置的复杂问题，并提供准确的答案。此外，该数据集可以促进地理空间人工智能领域的研究，推动相关技术的发展。
📄 摘要（原文）
Geospatial question answering (QA) is a fundamental task in navigation and point of interest (POI) searches. While existing geospatial QA datasets exist, they are limited in both scale and diversity, often relying solely on textual descriptions of geo-entities without considering their geometries. A major challenge in scaling geospatial QA datasets for reasoning lies in the complexity of geospatial relationships, which require integrating spatial structures, topological dependencies, and multi-hop reasoning capabilities that most text-based QA datasets lack. To address these limitations, we introduce MapQA, a novel dataset that not only provides question-answer pairs but also includes the geometries of geo-entities referenced in the questions. MapQA is constructed using SQL query templates to extract question-answer pairs from OpenStreetMap (OSM) for two study regions: Southern California and Illinois. It consists of 3,154 QA pairs spanning nine question types that require geospatial reasoning, such as neighborhood inference and geo-entity type identification. Compared to existing datasets, MapQA expands both the number and diversity of geospatial question types. We explore two approaches to tackle this challenge: (1) a retrieval-based language model that ranks candidate geo-entities by embedding similarity, and (2) a large language model (LLM) that generates SQL queries from natural language questions and geo-entity attributes, which are then executed against an OSM database. Our findings indicate that retrieval-based methods effectively capture concepts like closeness and direction but struggle with questions that require explicit computations (e.g., distance calculations). LLMs (e.g., GPT and Gemini) excel at generating SQL queries for one-hop reasoning but face challenges with multi-hop reasoning, highlighting a key bottleneck in advancing geospatial QA systems.