NextLocLLM: Location Semantics Modeling and Coordinate-Based Next Location Prediction with LLMs

📄 arXiv: 2410.09129v2 📥 PDF

作者: Shuai Liu, Ning Cao, Yile Chen, Yue Jiang, George Rosario Jagadeesh, Gao Cong

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-10-11 (更新: 2025-09-28)

备注: STIntelligence in CIKM 2025

🔗 代码/项目: GITHUB

💡 一句话要点

NextLocLLM：利用LLM进行位置语义建模和基于坐标的下一位置预测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 下一位置预测 大型语言模型 坐标回归 位置语义 轨迹建模 零样本学习 人类移动性

📋 核心要点

  1. 现有下一位置预测方法依赖离散位置ID分类，无法有效建模空间连续性，且泛化能力受限。
  2. NextLocLLM将下一位置预测转化为坐标回归问题，并利用LLM进行位置语义编码和坐标级预测。
  3. 实验结果表明，NextLocLLM在监督和零样本场景下，均显著优于现有基线方法，展现了优越的性能。

📝 摘要（中文）

下一位置预测是人类移动性分析中的关键任务。现有方法通常将其表述为基于离散位置ID的分类任务，这阻碍了空间连续性建模，并限制了对新城市的泛化能力。本文提出了NextLocLLM，一种新颖的框架，它将下一位置预测重新定义为坐标回归，并整合了LLM用于位置语义编码和坐标级预测。为了对位置功能语义进行建模，它利用LLM的语言理解能力，从POI类别的文本描述中提取功能语义，构建了LLM增强的POI嵌入。这些POI嵌入与时空轨迹表示相结合，并输入到同一个LLM中，从而实现统一的语义和预测建模。一个轻量级的回归头生成坐标输出，通过预测后的检索模块将其映射到top-k候选位置，确保结构化输出。在不同城市进行的实验表明，NextLocLLM在监督和零样本设置下均优于现有基线。

🔬 方法详解

问题定义：现有下一位置预测方法通常将问题建模为基于离散位置ID的分类任务。这种方法无法有效捕捉位置之间的空间连续性，并且难以泛化到未见过的新城市，因为新城市的POI信息可能不在训练集中。此外，离散ID也忽略了位置的功能语义信息，限制了模型的表达能力。

核心思路：NextLocLLM的核心思路是将下一位置预测问题转化为坐标回归问题，直接预测下一位置的经纬度坐标。同时，利用大型语言模型（LLM）强大的语义理解能力，对位置的功能语义进行编码，并将语义信息融入到轨迹表示中。通过坐标回归和语义增强，模型能够更好地捕捉空间连续性，并提高对新城市的泛化能力。

技术框架：NextLocLLM的整体框架包括三个主要模块：1) LLM增强的POI嵌入模块：利用LLM从POI类别的文本描述中提取功能语义，生成POI嵌入；2) 轨迹表示模块：将用户的历史轨迹和POI嵌入结合，生成轨迹的表示向量；3) 坐标回归模块：使用一个轻量级的回归头，基于轨迹表示向量预测下一位置的经纬度坐标。最后，通过一个后处理的检索模块，将预测的坐标映射到top-k候选位置。

关键创新：NextLocLLM的关键创新在于：1) 将下一位置预测问题转化为坐标回归问题，克服了离散ID分类方法的局限性；2) 利用LLM对位置的功能语义进行编码，增强了模型的表达能力；3) 将语义信息和轨迹信息融合到同一个LLM中进行统一建模，实现了端到端的学习。

关键设计：在POI嵌入模块中，使用了预训练的LLM（例如BERT）对POI类别的文本描述进行编码，生成POI嵌入。轨迹表示模块将用户的历史轨迹（包括时间和位置信息）和POI嵌入进行拼接，然后输入到另一个LLM中进行编码。坐标回归模块使用一个简单的多层感知机（MLP）作为回归头，预测下一位置的经纬度坐标。损失函数采用均方误差（MSE）损失，优化预测坐标和真实坐标之间的距离。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NextLocLLM在多个城市的实验结果表明，它在监督和零样本设置下均优于现有基线方法。例如，在某个城市的实验中，NextLocLLM的Top-1准确率比最佳基线提高了5%以上。此外，NextLocLLM在零样本设置下也表现出良好的泛化能力，能够有效地预测未见过的新城市中的下一位置。

🎯 应用场景

NextLocLLM具有广泛的应用前景，例如：个性化推荐、智能交通、城市规划、应急响应等。它可以根据用户的历史行为和位置语义信息，预测用户接下来可能访问的位置，从而提供更精准的推荐服务。在智能交通领域，可以用于预测交通流量和拥堵情况，优化交通路线。在城市规划领域，可以用于分析人口流动模式，为城市建设提供决策支持。在应急响应领域，可以用于预测灾害发生后的疏散路线，提高救援效率。

📄 摘要（原文）

Next location prediction is a critical task in human mobility analysis.Existing methods typically formulate it as a classification task based on discrete location IDs, which hinders spatial continuity modeling and limits generalization to new cities. In this paper, we propose NextLocLLM, a novel framework that reformulates next-location prediction as coordinate regression and integrates LLMs for both location semantics encoding and coordinate-level prediction. To model location functional semantics, it constructs LLM-enhanced POI embeddings by leveraging language understanding capabilities of LLMs to extract functional semantics from textual descriptions of POI categories. These POI embeddings are combined with spatiotemporal trajectory representation and fed into the same LLM, enabling unified semantic and predictive modeling. A lightweight regression head generates coordinate outputs, which are mapped to top-k candidate locations via post-prediction retrieval module, ensuring structured outputs. Experiments across diverse cities show that NextLocLLM outperforms existing baselines in both supervised and zero-shot settings. Code is available at: https://github.com/liuwj2000/NexelocLLM.