GeoFitBench-LLM: A Benchmark for Assessing Large Language Models' Capabilities in Geospatial Data Requirements Elicitation for Geo-Analytic Tasks
作者: Amirhossein Vahdat, Thierry Badard, Luc Lamontagne
分类: cs.CL, cs.AI
发布日期: 2026-10-08
备注: Presented as an Oral Presentation Paper at GeoAI 2026, Ghent, Belgium. Also available on Zenodo
期刊: Proceedings of the 1st International Conference on Geospatial Artificial Intelligence (GeoAI 2026)
💡 一句话要点
提出GeoFitBench-LLM以评估大语言模型在地理数据需求提取中的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 地理数据 需求提取 GeoAI 基准评估 自然语言处理 时空关系 语义基础
📋 核心要点
- 现有方法在评估大语言模型时，往往忽视了地理数据需求的提取，导致地理分析任务的支持不可靠。
- 论文提出GeoFitBench-LLM基准，旨在评估大语言模型在自然语言中推断地理分析请求所需数据集和约束的能力。
- 实验结果显示，GPT-5.4 Thinking在66.67%的请求中成功识别出完整资源，表明资源识别能力较强，但准确的适用性规格仍然较难。
📝 摘要（中文）
大语言模型在GeoAI系统中日益重要，但其评估往往忽视了地理数据需求的提取。这一遗漏至关重要，因为检索导向的地理分析任务在未首先识别必要数据集和约束的情况下无法可靠支持。GeoFitBench-LLM被引入作为一个基准，用于评估LLM是否能够推断出地理分析请求所需的数据集、支持资源和约束。该基准围绕两个推理维度构建，分别是时空关系和语义基础，反映了地理信息检索和相关自然语言任务中的长期挑战。实验表明，在最小提示下，七个模型的资源识别能力普遍较好，其中GPT-5.4 Thinking在66.67%的基准请求中成功恢复了完整资源集。
🔬 方法详解
问题定义：论文要解决的问题是如何有效评估大语言模型在地理分析任务中提取数据需求的能力。现有方法未能充分考虑这一点，导致在实际应用中存在数据支持不足的问题。
核心思路：论文的核心思路是构建GeoFitBench-LLM基准，通过明确的评估框架来测试大语言模型在自然语言中推断地理数据需求的能力。这样的设计旨在填补现有评估中的空白，确保模型能够识别必要的数据集和约束。
技术框架：整体架构包括两个主要维度：时空关系和语义基础。基准通过固定的、提供者无关的模式编码真实需求，以便于资源识别和属性级别的可重复评估。
关键创新：最重要的技术创新点在于引入了一个结构化的评估框架，专注于地理分析任务中的数据需求提取，这与传统的自然语言处理评估方法有本质区别。
关键设计：在实验中，采用了最小提示的方式对七个模型进行评估，关键参数设置和损失函数的选择旨在提高资源识别的准确性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GPT-5.4 Thinking在66.67%的基准请求中成功恢复了完整的资源集，表明其在资源识别方面表现优异。尽管如此，随着推理需求的增加，准确的适用性规格仍然面临挑战。
🎯 应用场景
该研究的潜在应用领域包括地理信息系统、城市规划、环境监测等。通过提升大语言模型在地理数据需求提取方面的能力，可以更好地支持复杂的地理分析任务，进而推动GeoAI领域的发展和应用。
📄 摘要（原文）
Large language models are becoming central to GeoAI systems, yet their evaluation rarely considers the elicitation of geospatial data requirements. This omission is critical as retrieval oriented geo-analytic tasks cannot be supported reliably without first identifying the necessary datasets and constraints. GeoFitBench-LLM is introduced as a benchmark for assessing whether LLMs can infer the datasets, the supporting resources and the constraints required by geo-analytic requests in natural language. The benchmark is structured around two reasoning dimensions, Spatio-Temporal Relational and Semantic Grounding, reflecting long-standing challenges in geospatial information retrieval and related natural language tasks. Ground truth requirements are encoded in a fixed, provider-independent schema for reproducible evaluation of resource identification and attribute-level specification. Experiments on seven models under minimal prompting indicate that identifying the necessary resources is often achievable, with GPT-5.4 Thinking achieving the best result by recovering the complete set of resources in 66.67% of benchmark requests. Results further indicate that accurate fitness-for-use specification remains more difficult as inferential demands increase.