Strada-LLM: Graph LLM for traffic prediction
作者: Seyed Mohamad Moghadas, Bruno Cornelis, Alexandre Alahi, Adrian Munteanu
分类: cs.LG, cs.AI
发布日期: 2024-10-28 (更新: 2025-11-14)
备注: 13 pages
💡 一句话要点
Strada-LLM：用于交通预测的图LLM，提升预测精度和效率。
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 交通预测 图神经网络 大型语言模型 时空预测 领域自适应
📋 核心要点
- 现有交通预测方法难以捕捉复杂图关系和时空依赖性，限制了在真实交通网络中的适应性和可解释性。
- Strada-LLM通过显式建模时空交通模式，并结合邻近交通信息作为协变量，有效捕捉局部变化。
- 实验表明，Strada-LLM在长期预测的RMSE误差上提升17%，效率提升16%，且在不同LLM骨干网上保持鲁棒性。
📝 摘要（中文）
交通预测对于智能交通系统至关重要，准确且可解释的预测能够显著提高运营效率和安全性。一个关键挑战是不同地点交通状况的异质性，导致交通数据分布差异很大。大型语言模型（LLM）在此类动态和数据稀疏场景中展现出卓越的少样本学习潜力。然而，现有的基于LLM的解决方案通常依赖于提示调优，这可能难以充分捕捉复杂的图关系和时空依赖性，从而限制了在实际交通网络中的适应性和可解释性。我们通过引入Strada-LLM来解决这些问题，Strada-LLM是一种新颖的多元概率预测LLM，它显式地建模了时间和空间交通模式。通过将邻近交通信息作为协变量纳入，Strada-LLM更有效地捕捉局部变化，并且优于基于提示的现有LLM。为了进一步增强适应性，我们提出了一种轻量级的基于分布的领域自适应策略，从而在遇到新的数据分布或改变的网络拓扑时，能够进行参数高效的模型更新，即使在少样本约束下也是如此。在时空交通数据集上的实证评估表明，Strada-LLM始终优于最先进的LLM驱动的和传统的基于GNN的预测器。具体而言，它将长期预测的RMSE误差提高了17％，效率提高了16％。此外，它在不同LLM骨干网上保持了强大的性能，且性能下降最小，使其成为现实交通预测任务的通用且强大的解决方案。
🔬 方法详解
问题定义：论文旨在解决交通预测中现有方法难以捕捉复杂图关系和时空依赖性，导致预测精度和效率不足的问题。现有方法，特别是基于prompt-tuning的LLM方法，无法充分利用交通网络中的空间信息，并且在面对新的数据分布或网络拓扑时，适应性较差。
核心思路：论文的核心思路是将图结构信息融入到LLM中，通过显式建模时间和空间交通模式，并利用邻近交通信息作为协变量，来提升预测精度和效率。此外，论文还提出了一种轻量级的领域自适应策略，以增强模型在面对新的数据分布或网络拓扑时的适应性。
技术框架：Strada-LLM的整体框架包括以下几个主要模块：1) 图构建模块，用于将交通网络表示为图结构；2) 特征提取模块，用于提取节点和边的特征，包括时间特征和空间特征；3) LLM预测模块，利用LLM对交通流量进行预测，并将邻近交通信息作为协变量输入；4) 领域自适应模块，用于在面对新的数据分布或网络拓扑时，对模型进行参数高效的更新。
关键创新：论文的最重要的技术创新点在于将图结构信息显式地融入到LLM中，从而更好地捕捉交通网络中的空间依赖关系。与现有方法相比，Strada-LLM不仅利用了LLM强大的时序建模能力，还充分利用了交通网络中的空间信息，从而提高了预测精度和效率。此外，论文提出的轻量级领域自适应策略也为模型在实际应用中的部署提供了便利。
关键设计：论文的关键设计包括：1) 如何将邻近交通信息作为协变量输入到LLM中；2) 如何设计轻量级的领域自适应策略，以实现参数高效的模型更新；3) 如何选择合适的LLM骨干网络，并在交通预测任务上进行微调。具体的损失函数和网络结构等技术细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Strada-LLM在时空交通数据集上显著优于现有的LLM驱动的和传统的基于GNN的预测器。具体而言，Strada-LLM将长期预测的RMSE误差降低了17％，效率提高了16％。此外，Strada-LLM在不同的LLM骨干网络上表现出鲁棒性，性能下降最小，证明了其通用性和有效性。
🎯 应用场景
Strada-LLM可应用于智能交通系统中的交通流量预测、交通拥堵预警、路径规划和交通信号优化等领域。该研究能够提升交通预测的准确性和效率，从而改善城市交通管理，减少交通拥堵，提高出行效率，并为自动驾驶和智能交通控制提供更可靠的数据支持。未来，该方法可以扩展到其他时空预测任务，例如天气预报和能源需求预测。
📄 摘要（原文）
Traffic forecasting is pivotal for intelligent transportation systems, where accurate and interpretable predictions can significantly enhance operational efficiency and safety. A key challenge stems from the heterogeneity of traffic conditions across diverse locations, leading to highly varied traffic data distributions. Large language models (LLMs) show exceptional promise for few-shot learning in such dynamic and data-sparse scenarios. However, existing LLM-based solutions often rely on prompt-tuning, which can struggle to fully capture complex graph relationships and spatiotemporal dependencies-thereby limiting adaptability and interpretability in real-world traffic networks. We address these gaps by introducing Strada-LLM, a novel multivariate probabilistic forecasting LLM that explicitly models both temporal and spatial traffic patterns. By incorporating proximal traffic information as covariates, Strada-LLM more effectively captures local variations and outperforms prompt-based existing LLMs. To further enhance adaptability, we propose a lightweight distribution-derived strategy for domain adaptation, enabling parameter-efficient model updates when encountering new data distributions or altered network topologies-even under few-shot constraints. Empirical evaluations on spatio-temporal transportation datasets demonstrate that Strada-LLM consistently surpasses state-of-the-art LLM-driven and traditional GNN-based predictors. Specifically, it improves long-term forecasting by 17% in RMSE error and 16% more efficiency. Moreover, it maintains robust performance across different LLM backbones with minimal degradation, making it a versatile and powerful solution for real-world traffic prediction tasks.