Instruction-Tuning Llama-3-8B Excels in City-Scale Mobility Prediction

📄 arXiv: 2410.23692v1 📥 PDF

作者: Peizhi Tang, Chuang Yang, Tong Xing, Xiaohang Xu, Renhe Jiang, Kaoru Sezaki

分类: cs.CL, cs.CY

发布日期: 2024-10-31

🔗 代码/项目: GITHUB

💡 一句话要点

Instruction-Tuning Llama-3-8B用于城市级长期移动预测，性能超越SOTA

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人类移动预测 大型语言模型 指令微调 城市规划 长期预测

📋 核心要点

  1. 传统人类移动预测方法依赖于领域特定模型，难以泛化到不同城市，且侧重于短期预测。
  2. 本文提出Llama-3-8B-Mob，通过指令微调Llama-3-8B，以问答形式进行长期城市级移动预测。
  3. 实验结果表明，Llama-3-8B-Mob在长期移动预测上超越SOTA，并具备良好的零样本泛化能力。

📝 摘要（中文）

本文介绍了一种名为Llama-3-8B-Mob的大型语言模型，该模型通过指令微调，用于城市范围内的长期人类移动预测，并以问答形式进行。人类移动预测在灾害响应、城市规划和流行病预测等应用中起着关键作用。传统方法通常依赖于设计特定的领域模型，并且通常侧重于短期预测，难以在不同的城市环境中推广。该研究使用来自日本四个大都市区的大规模人类移动数据验证了该方法，重点是预测未来15天内的个人轨迹。结果表明，Llama-3-8B-Mob在建模长期人类移动方面表现出色，在多个预测指标上超过了最先进水平。它还表现出强大的零样本泛化能力，即使仅在单个城市的有限样本上进行微调，也能有效地推广到其他城市。源代码可在https://github.com/TANGHULU6/Llama3-8B-Mob 获取。

🔬 方法详解

问题定义：论文旨在解决城市范围内长期（15天）的人类移动轨迹预测问题。现有方法，如传统统计模型或深度学习模型，通常需要针对特定城市进行定制化设计，泛化能力差，且难以进行长期预测。这些方法通常依赖于手工设计的特征或特定的网络结构，缺乏灵活性和适应性。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的建模能力和泛化能力，通过指令微调（Instruction Tuning）的方式，将人类移动预测任务转化为一个问答形式的问题。通过这种方式，LLM可以学习到人类移动的内在规律，并能够根据给定的问题（例如，预测未来15天的轨迹）生成相应的答案。

技术框架：Llama-3-8B-Mob的整体框架是基于Llama-3-8B模型，并在此基础上进行指令微调。具体流程如下：1) 数据预处理：将原始的人类移动数据转换为适合LLM输入的格式，例如，将轨迹数据转换为文本描述。2) 指令构建：设计一系列指令，用于指导LLM学习人类移动预测任务。这些指令包括问题（例如，预测未来15天的轨迹）和答案（例如，实际的轨迹数据）。3) 模型微调：使用构建好的指令数据对Llama-3-8B模型进行微调，使其能够理解并执行人类移动预测任务。4) 模型推理：在测试阶段，将新的问题输入到微调后的模型中，生成相应的预测结果。

关键创新：论文的关键创新在于将大型语言模型应用于城市级长期人类移动预测任务，并采用指令微调的方式进行模型训练。与传统方法相比，这种方法具有更强的泛化能力和灵活性，能够适应不同的城市环境和预测需求。此外，通过指令微调，模型可以更好地理解人类移动的内在规律，从而提高预测精度。

关键设计：在指令微调过程中，论文设计了一系列指令，包括问题（例如，预测未来15天的轨迹）和答案（例如，实际的轨迹数据）。这些指令涵盖了不同的城市、不同的时间段和不同的用户群体。此外，论文还采用了特定的损失函数，用于优化模型的预测性能。具体的参数设置和网络结构与Llama-3-8B保持一致，没有进行显著修改。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，Llama-3-8B-Mob在四个日本城市的人类移动预测任务上取得了显著的性能提升，超过了现有的SOTA方法。尤其在长期预测方面，Llama-3-8B-Mob表现出更强的优势。此外，该模型还展现出强大的零样本泛化能力，即使仅在一个城市的数据上进行微调，也能在其他城市取得良好的预测效果。具体性能数据未知，但摘要明确指出超越了SOTA。

🎯 应用场景

该研究成果可广泛应用于城市规划、交通管理、灾害响应和流行病预测等领域。通过准确预测城市人口的长期移动趋势，可以为城市规划者提供决策支持，优化交通资源配置，提高灾害响应效率，并有效控制疫情传播。此外，该模型还可用于个性化推荐系统，例如，根据用户的历史轨迹预测其未来的出行需求，从而提供更精准的出行建议。

📄 摘要（原文）

Human mobility prediction plays a critical role in applications such as disaster response, urban planning, and epidemic forecasting. Traditional methods often rely on designing crafted, domain-specific models, and typically focus on short-term predictions, which struggle to generalize across diverse urban environments. In this study, we introduce Llama-3-8B-Mob, a large language model fine-tuned with instruction tuning, for long-term citywide mobility prediction -- in a Q&A manner. We validate our approach using large-scale human mobility data from four metropolitan areas in Japan, focusing on predicting individual trajectories over the next 15 days. The results demonstrate that Llama-3-8B-Mob excels in modeling long-term human mobility -- surpassing the state-of-the-art on multiple prediction metrics. It also displays strong zero-shot generalization capabilities -- effectively generalizing to other cities even when fine-tuned only on limited samples from a single city. Source codes are available at https://github.com/TANGHULU6/Llama3-8B-Mob.