AgentMove: A Large Language Model based Agentic Framework for Zero-shot Next Location Prediction

📄 arXiv: 2408.13986v2 📥 PDF

作者: Jie Feng, Yuwei Du, Jie Zhao, Yong Li

分类: cs.LG, cs.AI, cs.CL, cs.IR

发布日期: 2024-08-26 (更新: 2025-02-09)

备注: Accepted by NAACL 2025 as main conference paper, https://github.com/tsinghua-fib-lab/AgentMove

🔗 代码/项目: GITHUB

💡 一句话要点

AgentMove：基于大语言模型的Agent框架，用于零样本的下一位置预测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 下一位置预测 大型语言模型 Agent框架 零样本学习 时空建模

📋 核心要点

  1. 现有深度学习方法在零样本下一位置预测任务中存在局限性，直接使用LLM缺乏系统设计，限制了LLM的潜力。
  2. AgentMove通过分解任务并设计模块，利用时空记忆、世界知识生成器和集体知识提取器，实现更广义的下一位置预测。
  3. 实验结果表明，AgentMove在多个指标上优于现有基线，并且在使用不同LLM时表现出稳健的预测能力，减少了地理偏差。

📝 摘要（中文）

下一位置预测在各种实际应用中起着关键作用。最近，由于现有深度学习方法的局限性，人们尝试将大型语言模型（LLM）应用于零样本下一位置预测任务。然而，他们直接使用LLM生成最终输出，缺乏系统设计，这限制了LLM挖掘复杂移动模式的潜力，并低估了其广泛的全球地理空间知识储备。在本文中，我们介绍AgentMove，一个系统的agent预测框架，以实现广义的下一位置预测。在AgentMove中，我们首先分解移动预测任务并设计特定的模块来完成它们，包括用于个体移动模式挖掘的时空记忆，用于建模城市结构影响的世界知识生成器，以及用于捕获人群之间共享模式的集体知识提取器。最后，我们结合三个模块的结果并进行推理步骤以生成最终预测。利用来自两个不同来源的移动数据的广泛实验表明，AgentMove在12个指标中的8个指标上超过了领先的基线3.33%到8.57%，并且它在使用各种LLM作为基础时显示出稳健的预测，并且减少了跨城市的地理偏差。我们的代码可通过https://github.com/tsinghua-fib-lab/AgentMove获得。

🔬 方法详解

问题定义：论文旨在解决零样本下一位置预测问题。现有方法主要依赖深度学习，但泛化能力不足，难以适应新的城市或场景。直接使用LLM进行预测，缺乏对复杂移动模式的深入挖掘和对地理空间知识的有效利用，导致预测精度受限。

核心思路：AgentMove的核心思路是将下一位置预测任务分解为多个子任务，并为每个子任务设计专门的模块，充分利用LLM的知识和推理能力。通过模块化的设计，可以更好地捕捉个体移动模式、城市结构影响和人群共享模式，从而提高预测的准确性和泛化能力。

技术框架：AgentMove框架包含以下主要模块：1) 时空记忆模块：用于挖掘个体用户的历史移动模式，捕捉用户的个性化偏好。2) 世界知识生成器：用于建模城市结构对移动行为的影响，例如POI（兴趣点）的分布、道路网络等。3) 集体知识提取器：用于提取人群中共享的移动模式，例如高峰时段的通勤路线。4) 推理模块：将三个模块的输出进行融合，并利用LLM进行推理，生成最终的下一位置预测结果。

关键创新：AgentMove的关键创新在于其agentic的框架设计，将复杂的预测任务分解为多个可管理的子任务，并利用LLM的强大能力来解决这些子任务。与直接使用LLM进行预测的方法相比，AgentMove能够更有效地利用LLM的知识和推理能力，从而提高预测的准确性和泛化能力。此外，AgentMove还考虑了城市结构和人群行为对移动模式的影响，使其预测结果更符合实际情况。

关键设计：时空记忆模块可能采用循环神经网络（RNN）或Transformer等序列模型来捕捉用户的历史移动轨迹。世界知识生成器可能利用图神经网络（GNN）来建模城市结构。集体知识提取器可能采用聚类算法或主题模型来提取人群的共享模式。推理模块可能使用LLM进行多轮对话，逐步缩小预测范围，最终生成下一位置的预测结果。具体的参数设置、损失函数和网络结构等细节在论文中应该有更详细的描述，此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AgentMove在两个不同的移动数据集上都取得了显著的性能提升。在12个评估指标中的8个指标上，AgentMove超过了领先的基线3.33%到8.57%。此外，AgentMove在使用不同的LLM作为基础模型时，都表现出稳健的预测能力，并且减少了跨城市的地理偏差，表明其具有良好的泛化能力。

🎯 应用场景

AgentMove在智慧城市、交通规划、位置推荐等领域具有广泛的应用前景。它可以用于预测用户的出行需求，优化交通流量，为用户推荐个性化的位置服务。此外，AgentMove还可以用于分析城市人口流动模式，为城市规划提供决策支持，并帮助政府更好地应对突发事件。

📄 摘要（原文）

Next location prediction plays a crucial role in various real-world applications. Recently, due to the limitation of existing deep learning methods, attempts have been made to apply large language models (LLMs) to zero-shot next location prediction task. However, they directly generate the final output using LLMs without systematic design, which limits the potential of LLMs to uncover complex mobility patterns and underestimates their extensive reserve of global geospatial knowledge. In this paper, we introduce AgentMove, a systematic agentic prediction framework to achieve generalized next location prediction. In AgentMove, we first decompose the mobility prediction task and design specific modules to complete them, including spatial-temporal memory for individual mobility pattern mining, world knowledge generator for modeling the effects of urban structure and collective knowledge extractor for capturing the shared patterns among population. Finally, we combine the results of three modules and conduct a reasoning step to generate the final predictions. Extensive experiments utilizing mobility data from two distinct sources reveal that AgentMove surpasses the leading baseline by 3.33% to 8.57% across 8 out of 12 metrics and it shows robust predictions with various LLMs as base and also less geographical bias across cities. Our codes are available via https://github.com/tsinghua-fib-lab/AgentMove.