A Prompt Refinement-based Large Language Model for Metro Passenger Flow Forecasting under Delay Conditions

📄 arXiv: 2410.15111v1 📥 PDF

作者: Ping Huang, Yuxin He, Hao Wang, Jingjing Chen, Qin Luo

分类: cs.AI

发布日期: 2024-10-19

备注: 14 pages, 2 figures

💡 一句话要点

提出一种基于Prompt优化的LLM框架，用于解决延误条件下地铁客流预测难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地铁客流预测 延误条件 大语言模型 Prompt工程 Few-shot学习

📋 核心要点

  1. 传统模型在延误事件下难以准确预测地铁客流，因为延误数据稀少，模型难以捕捉复杂影响。
  2. 利用大语言模型（LLM）的few-shot学习能力，通过Prompt工程使LLM理解延误信息和客流模式。
  3. 实验表明，该框架在深圳地铁延误条件下的客流预测中表现优异，验证了其有效性。

📝 摘要（中文）

本文提出了一种基于Prompt优化的LLM框架，用于解决延误条件下地铁客流的短期预测问题。由于延误事件的稀有性，传统模型难以有效捕捉延误对客流的复杂影响，导致预测精度低。该框架利用LLM在少量样本学习方面的优势，通过精心设计的Prompt工程，使LLM能够理解延误事件信息和历史客流数据的模式，从而克服延误条件下客流预测的挑战。Prompt工程包括系统Prompt生成和Prompt优化两个阶段，其中Prompt优化阶段采用多维Chain of Thought (CoT) 方法。在深圳地铁的真实数据集上的实验结果表明，该模型在延误条件下客流预测方面表现出色。

🔬 方法详解

问题定义：论文旨在解决地铁系统在发生延误时，如何准确预测短期客流的问题。现有方法由于延误事件的稀缺性，导致训练数据不足，难以有效捕捉延误对客流的复杂影响，预测精度较低。因此，如何在少量数据下进行有效的客流预测是关键挑战。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的few-shot学习能力，通过精心设计的Prompt工程，将延误事件信息和历史客流数据转化为LLM可以理解的文本描述，从而使LLM能够进行推理和预测。这种方法旨在克服传统模型在数据稀缺情况下的泛化能力不足的问题。

技术框架：该框架主要包含两个阶段：系统Prompt生成和Prompt优化。在Prompt生成阶段，多源数据（包括延误事件信息和历史客流数据）被转换成LLM可以理解的描述性文本并存储。在Prompt优化阶段，采用多维Chain of Thought (CoT) 方法对Prompt进行优化，以提高LLM的推理能力和预测精度。整体流程是从原始数据到Prompt生成，再到Prompt优化，最终输入LLM进行客流预测。

关键创新：该论文的关键创新在于将Prompt工程应用于地铁客流预测，并针对延误场景设计了Prompt优化方法。与传统模型相比，该方法不需要大量的训练数据，而是利用LLM的预训练知识和few-shot学习能力，通过Prompt引导LLM进行推理和预测。多维CoT方法的引入进一步提升了Prompt的质量和LLM的预测性能。

关键设计：Prompt的设计是关键。Prompt需要包含足够的信息，使LLM能够理解延误事件的性质、历史客流模式以及预测目标。多维CoT方法用于Prompt优化，可能涉及多个角度的思考链，例如，延误原因、延误时长、受影响的站点等。具体的参数设置和损失函数未知，因为论文侧重于Prompt工程的设计，而非模型结构的调整。

📊 实验亮点

实验结果表明，该模型在深圳地铁的真实数据集上，针对延误条件下的客流预测表现出色。虽然具体的性能数据和对比基线未在摘要中明确给出，但强调了该模型在延误场景下的优越性，证明了Prompt工程在解决数据稀缺问题上的有效性。

🎯 应用场景

该研究成果可应用于城市轨道交通的智能运营管理，尤其是在突发事件（如延误）发生时，能够为调度人员提供准确的客流预测，辅助制定合理的应急预案，优化资源配置，提升乘客出行体验，并降低运营风险。未来可扩展到其他交通方式或公共服务领域。

📄 摘要（原文）

Accurate short-term forecasts of passenger flow in metro systems under delay conditions are crucial for emergency response and service recovery, which pose significant challenges and are currently under-researched. Due to the rare occurrence of delay events, the limited sample size under delay condictions make it difficult for conventional models to effectively capture the complex impacts of delays on passenger flow, resulting in low forecasting accuracy. Recognizing the strengths of large language models (LLMs) in few-shot learning due to their powerful pre-training, contextual understanding, ability to perform zero-shot and few-shot reasoning, to address the issues that effectively generalize and adapt with minimal data, we propose a passenger flow forecasting framework under delay conditions that synthesizes an LLM with carefully designed prompt engineering. By Refining prompt design, we enable the LLM to understand delay event information and the pattern from historical passenger flow data, thus overcoming the challenges of passenger flow forecasting under delay conditions. The propmpt engineering in the framework consists of two main stages: systematic prompt generation and prompt refinement. In the prompt generation stage, multi-source data is transformed into descriptive texts understandable by the LLM and stored. In the prompt refinement stage, we employ the multidimensional Chain of Thought (CoT) method to refine the prompts. We verify the proposed framework by conducting experiments using real-world datasets specifically targeting passenger flow forecasting under delay conditions of Shenzhen metro in China. The experimental results demonstrate that the proposed model performs particularly well in forecasting passenger flow under delay conditions.