LIMP: Large Language Model Enhanced Intent-aware Mobility Prediction

📄 arXiv: 2408.12832v1 📥 PDF

作者: Songwei Li, Jie Feng, Jiawei Chi, Xinyuan Hu, Xiaomeng Zhao, Fengli Xu

分类: cs.CL

发布日期: 2024-08-23

备注: 13 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出LIMP框架，利用大语言模型增强意图感知的移动性预测

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动性预测 大语言模型 意图推断 时空建模 Transformer 知识蒸馏 智能体 城市计算

📋 核心要点

  1. 现有移动性预测模型侧重时空模式，忽略了人类行为背后复杂的意图，导致预测精度受限。
  2. LIMP框架利用大语言模型的常识推理能力，通过A2I智能体工作流程进行移动意图推断。
  3. 实验结果表明，LIMP在下一位置预测方面显著优于现有模型，并具备良好的意图推断能力。

📝 摘要（中文）

人类移动性预测对于城市规划和交通管理等应用至关重要，但由于人类行为背后复杂且常常是隐式的意图，这项任务仍然具有挑战性。现有模型主要关注时空模式，较少关注驱动移动的潜在意图。最近，大语言模型（LLM）的进步为将常识推理融入移动性预测提供了一个有希望的研究角度。然而，这是一个非平凡的问题，因为LLM并非原生为移动意图推断而构建，并且它们还面临可扩展性问题以及与时空模型集成困难。为了应对这些挑战，我们提出了一种新颖的LIMP（用于意图感知移动性预测的LLM）框架。具体来说，LIMP引入了一个“分析-抽象-推断”（A2I）的智能体工作流程，以释放LLM的常识推理能力来进行移动意图推断。此外，我们设计了一种高效的微调方案，将推理能力从商业LLM转移到较小规模的开源语言模型，从而确保LIMP能够扩展到数百万条移动记录。此外，我们提出了一种基于Transformer的意图感知移动性预测模型，以有效地利用LLM的意图推断能力。在两个真实世界数据集上的评估表明，LIMP显著优于基线模型，在下一位置预测和有效意图推断方面表现出更高的准确性。意图感知移动性预测的可解释性突出了我们的LIMP框架在实际应用中的潜力。代码和数据可在https://github.com/tsinghua-fib-lab/LIMP 找到。

🔬 方法详解

问题定义：现有移动性预测方法主要依赖于时空模式，忽略了人类移动行为背后的意图。这种忽略导致模型难以捕捉人类行为的复杂性和动态性，从而限制了预测的准确性和可靠性。现有方法的痛点在于缺乏对人类意图的有效建模和利用。

核心思路：LIMP的核心思路是利用大语言模型（LLM）的常识推理能力来推断人类移动行为背后的意图。通过将LLM与传统的时空模型相结合，LIMP能够更全面地理解人类移动行为，从而提高预测的准确性。这种设计基于LLM在自然语言理解和推理方面的强大能力，以及人类意图通常可以通过语言进行表达的观察。

技术框架：LIMP框架包含三个主要模块：1) A2I智能体工作流程：利用LLM进行意图推断，包括分析（Analyze）、抽象（Abstract）和推断（Infer）三个阶段。2) 高效微调方案：将商业LLM的推理能力迁移到较小规模的开源语言模型，以提高可扩展性。3) 意图感知移动性预测模型：基于Transformer架构，融合LLM推断的意图信息进行下一位置预测。整体流程是，首先利用A2I智能体分析移动轨迹数据，提取意图信息，然后使用微调后的LLM进行意图推断，最后将意图信息输入到Transformer模型中进行下一位置预测。

关键创新：LIMP的关键创新在于将大语言模型的常识推理能力引入到移动性预测中，并设计了A2I智能体工作流程来实现有效的意图推断。与现有方法相比，LIMP能够更全面地理解人类移动行为，从而提高预测的准确性。此外，LIMP还提出了一种高效的微调方案，使得LLM能够应用于大规模的移动数据。

关键设计：A2I智能体工作流程中的三个阶段分别对应不同的LLM任务：分析阶段负责从原始数据中提取关键信息；抽象阶段负责将提取的信息进行概括和抽象；推断阶段负责根据抽象后的信息推断用户的意图。微调方案采用了一种知识蒸馏的方法，将商业LLM的知识迁移到较小规模的开源模型。Transformer模型采用了标准的encoder-decoder结构，并引入了attention机制来融合意图信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

LIMP在两个真实世界数据集上进行了评估，结果表明其显著优于基线模型。具体而言，LIMP在下一位置预测的准确率方面取得了显著提升，并且能够有效地推断用户的移动意图。实验结果验证了LIMP框架的有效性和实用性，并展示了其在实际应用中的潜力。

🎯 应用场景

LIMP框架具有广泛的应用前景，例如城市规划、交通管理、个性化推荐和应急响应等。通过准确预测人群的移动轨迹和意图，可以优化交通流量、改善城市资源分配、提供个性化的出行建议，并在紧急情况下进行更有效的疏散和救援。此外，该研究还可以应用于商业领域，例如零售选址和市场营销。

📄 摘要（原文）

Human mobility prediction is essential for applications like urban planning and transportation management, yet it remains challenging due to the complex, often implicit, intentions behind human behavior. Existing models predominantly focus on spatiotemporal patterns, paying less attention to the underlying intentions that govern movements. Recent advancements in large language models (LLMs) offer a promising alternative research angle for integrating commonsense reasoning into mobility prediction. However, it is a non-trivial problem because LLMs are not natively built for mobility intention inference, and they also face scalability issues and integration difficulties with spatiotemporal models. To address these challenges, we propose a novel LIMP (LLMs for Intent-ware Mobility Prediction) framework. Specifically, LIMP introduces an "Analyze-Abstract-Infer" (A2I) agentic workflow to unleash LLM's commonsense reasoning power for mobility intention inference. Besides, we design an efficient fine-tuning scheme to transfer reasoning power from commercial LLM to smaller-scale, open-source language model, ensuring LIMP's scalability to millions of mobility records. Moreover, we propose a transformer-based intention-aware mobility prediction model to effectively harness the intention inference ability of LLM. Evaluated on two real-world datasets, LIMP significantly outperforms baseline models, demonstrating improved accuracy in next-location prediction and effective intention inference. The interpretability of intention-aware mobility prediction highlights our LIMP framework's potential for real-world applications. Codes and data can be found in https://github.com/tsinghua-fib-lab/LIMP .