Network-based Spatial Context Retrieval for Open-weight LLMs: A Faithfulness Benchmark for Grounded Geographic Reasoning
作者: Joan Perez
分类: cs.LG
发布日期: 2026-09-30
💡 一句话要点
提出基于网络的空间上下文检索以提升开放权重LLM的地理推理能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 地理推理 大型语言模型 空间上下文 开放数据 忠实性基准 模型评估 网络检索
📋 核心要点
- 现有的地理推理方法在仅依赖坐标时表现不佳，缺乏有效的空间上下文支持。
- 本文提出了一种基于网络的空间上下文检索管道，通过开放数据增强LLM的地理推理能力。
- 实验结果表明，模型在面对植入前提时的表现受模型家族和代际影响更大，而简报阅读能力是一个独立维度。
📝 摘要（中文）
大型语言模型（LLMs）编码了大量潜在的地理知识，但在空间推理方面表现不佳，且仅通过坐标查询时不可靠。有效的行为仅在提供结构化空间上下文时才会出现。本文提出了一种开放的网络空间上下文检索管道，利用开放数据和开放权重模型，从OpenStreetMap和GHS-POP人口网格中检索特征，并将其作为紧凑的空间简报注入模型。基于此，我们构建了一个忠实性基准，标记模型每个声明的来源和正确性，并通过植入虚假前提进行探测。我们评估了三种城市中十六种开放权重模型配置的表现，结果显示模型家族和代际对抵抗植入前提的影响大于规模，而简报阅读能力则形成了一个部分独立的维度。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在地理推理中仅依赖坐标时的不足，现有方法未能有效利用空间上下文，导致推理不准确。
核心思路：通过构建一个开放的网络空间上下文检索管道，利用开放数据从地理信息系统中提取相关特征，并将其注入模型，以增强其推理能力。
技术框架：整体架构包括数据检索模块（从OpenStreetMap和GHS-POP获取特征）、特征计算模块（在网络覆盖范围内计算指标）和简报注入模块（将计算结果作为空间简报输入模型）。
关键创新：最重要的技术创新在于构建了一个忠实性基准，能够标记模型声明的来源和正确性，并通过植入虚假前提进行验证，这在现有方法中尚未实现。
关键设计：在参数设置上，使用开放权重模型，并在不同的城市和模型配置中进行评估，确保实验的广泛性和可重复性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在面对植入前提时的抵抗能力受模型家族和代际影响显著，简报阅读能力则形成独立维度。具体而言，模型在不同配置下的表现差异明显，传统的世界正确性评分无法全面捕捉这些行为。
🎯 应用场景
该研究的潜在应用领域包括智能城市规划、导航系统、地理信息系统（GIS）和增强现实等。通过提升LLM在地理推理方面的能力，可以为用户提供更准确的位置信息和决策支持，未来可能对城市管理和公共服务产生深远影响。
📄 摘要（原文）
Large language models (LLMs) encode substantial latent geographic knowledge, yet they reason poorly over space and are unreliable when queried from coordinates alone. Useful behaviour emerges only when structured spatial context is supplied in the prompt. This raises a question geographic evaluation has left unexamined: once the right context is supplied, does the model reason from it, or override it with its own parametric recall? We take up this question with an open pipeline for network-based spatial context retriev-al. In it, the surroundings of a selected point are defined by the pedestrian street network, the area actually reachable on foot. Using only open data and open-weight models, the pipeline retrieves features from OpenStreetMap and the GHS-POP population grid, computes indicators over the network catchment in code, and injects them as a compact spatial brief. On this basis we build a faithfulness benchmark. It labels every claim a model makes by its source (grounded in the brief, or drawn from training knowledge) and its correctness, and it probes each case with a planted false premise that the brief refutes. We evaluate sixteen open-weight model configurations across three families (Qwen, Gemma and Llama, with Gemma in two generations), four size classes and, where available, both thinking and non-thinking modes, on three con-trasting cities, resampling every case over ten seeds. The results show that resistance to the planted premise varies more strongly by model family and generation than by scale, while brief-reading competence forms a partly separate dimension. These behaviours are not captured by conventional world-correctness scores or single-shot evaluation. We release the implementation, spatial briefs, model outputs, and claim-level labels as a reproducible workflow at github.com/perezjoan/NSCR-LLM.