What can LLM tell us about cities?

📄 arXiv: 2411.16791v1 📥 PDF

作者: Zhuoheng Li, Yaochen Wang, Zhixue Song, Yuqi Huang, Rui Bao, Guanjie Zheng, Zhenhui Jessie Li

分类: cs.CL, cs.AI, cs.IR

发布日期: 2024-11-25

💡 一句话要点

利用大型语言模型探索城市知识：一种数据驱动的城市研究新范式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 城市研究 知识挖掘 数据驱动决策 特征提取

📋 核心要点

  1. 现有城市研究缺乏全球尺度的数据，且数据获取成本高昂，限制了对城市发展规律的深入理解。
  2. 本研究利用LLM蕴含的丰富知识，通过查询和特征提取两种方式，挖掘LLM中关于全球城市的信息。
  3. 实验结果表明，LLM能够提供有价值的城市知识，并能提升城市相关预测任务的准确性，为城市研究提供新思路。

📝 摘要（中文）

本研究探索了大型语言模型（LLMs）在全球范围内提供关于城市和区域知识的能力。我们采用了两种方法：直接查询LLM以获取目标变量值，以及从LLM中提取与目标变量相关的显性和隐性特征。实验表明，LLM嵌入了广泛但程度不同的全球城市知识，并且基于LLM提取的特征训练的机器学习模型始终能提高预测准确性。此外，我们观察到LLM在各大洲的全球城市中都表现出一定程度的知识，但当它们缺乏知识时，会倾向于为不熟悉的任务生成通用或随机输出。这些发现表明，LLM可以为城市研究中数据驱动的决策提供新的机会。

🔬 方法详解

问题定义：现有城市研究面临数据获取困难和覆盖范围有限的挑战。传统方法依赖于人工收集或特定领域的数据集，难以实现全球范围内的城市知识整合和分析。此外，现有方法难以捕捉城市之间复杂的关联性和潜在特征。

核心思路：本研究的核心思路是利用大型语言模型（LLMs）作为一种新的城市知识来源。LLMs在训练过程中学习了大量的文本数据，蕴含了丰富的世界知识，包括关于城市的信息。通过巧妙地设计查询和特征提取方法，可以从LLMs中挖掘出有用的城市知识，并用于城市研究。

技术框架：该研究主要包含两个阶段：1) 直接查询LLM：设计一系列问题，直接向LLM询问关于城市的目标变量值，例如人口、经济指标等。2) 从LLM中提取特征：利用LLM生成关于城市的文本描述，然后从中提取显性特征（例如关键词频率）和隐性特征（例如文本嵌入向量）。最后，使用提取的特征训练机器学习模型，用于预测城市相关变量。

关键创新：本研究的关键创新在于将LLMs应用于城市研究领域，并提出了一种新的数据驱动的城市研究范式。与传统方法相比，该方法具有数据获取成本低、覆盖范围广、能够捕捉复杂关联性等优点。此外，该研究还探索了两种不同的LLM知识挖掘方法：直接查询和特征提取，并比较了它们的性能。

关键设计：在直接查询阶段，需要精心设计问题，以确保LLM能够理解并给出准确的回答。在特征提取阶段，需要选择合适的文本嵌入模型和机器学习模型，以充分利用LLM提供的知识。此外，还需要对提取的特征进行筛选和降维，以提高模型的性能和可解释性。具体参数设置和模型选择在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，基于LLM提取的特征训练的机器学习模型在预测城市相关变量时，能够显著提高预测准确性。具体提升幅度未知，但论文强调了LLM特征的有效性。此外，研究还发现LLM在不同城市的知识掌握程度存在差异，对于不熟悉的城市，LLM倾向于生成通用或随机输出。

🎯 应用场景

该研究成果可应用于城市规划、政策制定、商业选址等领域。通过利用LLM提供的城市知识，可以更全面地了解城市的发展状况和潜在趋势，从而做出更明智的决策。未来，可以将LLM与其他数据源相结合，构建更强大的城市知识图谱，为城市研究和管理提供更全面的支持。

📄 摘要（原文）

This study explores the capabilities of large language models (LLMs) in providing knowledge about cities and regions on a global scale. We employ two methods: directly querying the LLM for target variable values and extracting explicit and implicit features from the LLM correlated with the target variable. Our experiments reveal that LLMs embed a broad but varying degree of knowledge across global cities, with ML models trained on LLM-derived features consistently leading to improved predictive accuracy. Additionally, we observe that LLMs demonstrate a certain level of knowledge across global cities on all continents, but it is evident when they lack knowledge, as they tend to generate generic or random outputs for unfamiliar tasks. These findings suggest that LLMs can offer new opportunities for data-driven decision-making in the study of cities.