Geospatial Mechanistic Interpretability of Large Language Models
作者: Stef De Sabbata, Stefano Mizzaro, Kevin Roitero
分类: cs.LG
发布日期: 2025-05-06 (更新: 2025-05-12)
备注: Figures 2 and 3: fixed issue with min boundary in colorbar
💡 一句话要点
提出地理空间机制可解释性框架，解析大型语言模型如何处理地理信息
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 地理空间信息 机制可解释性 空间分析 空间自相关
📋 核心要点
- 现有研究对大型语言模型（LLMs）的地理知识和空间推理能力进行了评估，但对其内部如何处理地理信息的机制缺乏深入理解。
- 该论文提出了一种新的地理空间机制可解释性框架，利用空间分析技术来逆向工程LLMs处理地理信息的方式，从而理解其内部表征。
- 实验利用空间自相关性分析地名特征，揭示了这些特征与地理位置的空间模式关联，为理解LLMs的地理信息处理提供了新视角。
📝 摘要（中文）
大型语言模型（LLMs）在各种自然语言处理任务中展现了前所未有的能力。它们处理和生成可行文本及代码的能力使其在许多领域无处不在，而它们作为知识库和“推理”工具的部署仍然是一个持续研究的领域。在地理学中，越来越多的文献集中于评估LLMs的地理知识及其执行空间推理的能力。然而，关于这些模型内部运作的了解仍然很少，特别是关于它们如何处理地理信息。本章建立了一个新的地理空间机制可解释性研究框架——使用空间分析来逆向工程LLMs如何处理地理信息。我们的目标是增进对这些复杂模型在处理地理信息时生成的内部表征的理解——如果这种措辞不是过度拟人化，我们可以称之为“LLMs如何思考地理信息”。我们首先概述了探测技术在揭示LLMs内部结构中的应用。然后，我们介绍了机制可解释性领域，讨论了叠加假设和稀疏自编码器在将LLMs的多义内部表征分解为更易于解释的单义特征中的作用。在我们的实验中，我们使用空间自相关来展示为地名获得的特征如何显示与其地理位置相关的空间模式，因此可以进行地理空间解释，从而深入了解这些模型如何处理地理信息。最后，我们讨论了我们的框架如何帮助塑造地理学中基础模型的研究和使用。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLMs）在处理地理信息时内部运作机制不透明的问题。现有方法主要集中于评估LLMs的地理知识和空间推理能力，但缺乏对模型内部如何表征和处理地理信息的深入理解，这限制了我们对LLMs在地理领域应用的信任和优化。
核心思路：论文的核心思路是利用空间分析技术，特别是空间自相关性分析，来逆向工程LLMs的内部表征。通过分析LLMs为地名生成的特征向量，并观察这些特征向量是否具有与其地理位置相关的空间模式，从而推断LLMs是如何在内部表征地理信息的。这种方法类似于对LLMs进行“解剖”，以理解其内部的“思考”过程。
技术框架：该框架主要包含以下几个阶段：1) 使用LLMs处理包含地名的文本数据，提取地名对应的内部特征向量；2) 对提取的特征向量进行空间自相关性分析，例如使用Moran's I指数等指标，评估特征向量在空间上的聚集程度；3) 将空间自相关性分析的结果与地名的地理位置信息进行关联，观察是否存在显著的空间模式；4) 基于空间模式的分析结果，推断LLMs是如何在内部表征地理信息的，例如，某些特征可能与特定类型的地理区域相关联。
关键创新：该论文的关键创新在于将空间分析技术应用于LLMs的机制可解释性研究。传统的可解释性方法主要关注模型输出与输入之间的关系，而该论文则深入到模型的内部，试图理解模型是如何在内部表征地理信息的。这种方法为理解LLMs的内部运作机制提供了一种新的视角。
关键设计：论文的关键设计包括：1) 选择合适的LLMs作为研究对象；2) 设计合适的文本数据，包含足够多的地名信息；3) 选择合适的空间自相关性分析方法，例如Moran's I指数等；4) 设计合适的指标来评估空间模式的显著性；5) 使用稀疏自编码器将LLMs的多义内部表征分解为更易于解释的单义特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，为地名获得的特征显示与其地理位置相关的空间模式，这表明LLMs在内部表征地理信息时考虑了空间关系。通过空间自相关分析，研究人员能够识别出与特定地理区域相关的特征，从而深入了解LLMs的地理信息处理机制。这些发现为进一步研究LLMs的地理知识和空间推理能力奠定了基础。
🎯 应用场景
该研究成果可应用于提升LLMs在地理信息处理方面的能力，例如改进地理信息检索、地理知识图谱构建、空间推理等任务。此外，该框架还可用于评估和比较不同LLMs在地理信息处理方面的性能，为选择合适的LLMs提供依据。未来，该研究有望促进LLMs在智慧城市、环境监测、灾害管理等领域的应用。
📄 摘要（原文）
Large Language Models (LLMs) have demonstrated unprecedented capabilities across various natural language processing tasks. Their ability to process and generate viable text and code has made them ubiquitous in many fields, while their deployment as knowledge bases and "reasoning" tools remains an area of ongoing research. In geography, a growing body of literature has been focusing on evaluating LLMs' geographical knowledge and their ability to perform spatial reasoning. However, very little is still known about the internal functioning of these models, especially about how they process geographical information. In this chapter, we establish a novel framework for the study of geospatial mechanistic interpretability - using spatial analysis to reverse engineer how LLMs handle geographical information. Our aim is to advance our understanding of the internal representations that these complex models generate while processing geographical information - what one might call "how LLMs think about geographic information" if such phrasing was not an undue anthropomorphism. We first outline the use of probing in revealing internal structures within LLMs. We then introduce the field of mechanistic interpretability, discussing the superposition hypothesis and the role of sparse autoencoders in disentangling polysemantic internal representations of LLMs into more interpretable, monosemantic features. In our experiments, we use spatial autocorrelation to show how features obtained for placenames display spatial patterns related to their geographic location and can thus be interpreted geospatially, providing insights into how these models process geographical information. We conclude by discussing how our framework can help shape the study and use of foundation models in geography.