Wireless Traffic Prediction with Large Language Model

📄 arXiv: 2512.22178v1 📥 PDF

作者: Chuanting Zhang, Haixia Zhang, Jingping Qiao, Zongzhang Li, Mohamed-Slim Alouini

分类: cs.LG, cs.AI

发布日期: 2025-12-19

💡 一句话要点

提出TIDES框架，利用大语言模型进行城市无线流量预测，显著提升预测精度和鲁棒性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无线流量预测 大型语言模型 时空预测 空间注意力 深度学习

📋 核心要点

  1. 现有无线流量预测方法忽略了城市尺度交通动态中的空间依赖性，限制了预测精度和鲁棒性。
  2. TIDES框架通过聚类识别异构流量模式，利用DeepSeek模块实现空间对齐，提升LLM对空间信息的利用。
  3. 实验表明，TIDES在真实数据集上显著优于现有方法，验证了空间感知LLM在无线流量预测中的有效性。

📝 摘要（中文）

为了应对下一代无线网络中对智能自适应资源管理日益增长的需求，精确且可扩展的无线流量预测变得至关重要。尽管深度学习和大型语言模型（LLM）等基础模型在预测方面展现出潜力，但它们在很大程度上忽略了城市规模流量动态中固有的空间依赖性。本文提出了一种基于LLM的新框架TIDES（Traffic Intelligence with DeepSeek-Enhanced Spatial-temporal prediction），该框架能够捕获时空相关性，用于城市无线流量预测。TIDES首先通过聚类机制识别不同区域的异构流量模式，并为每个区域训练个性化模型，以平衡泛化和专业化。为了弥合数值流量数据和基于语言的模型之间的领域差距，我们引入了一种提示工程方案，将统计流量特征嵌入为结构化输入。此外，我们设计了一个DeepSeek模块，该模块通过跨域注意力实现空间对齐，使LLM能够利用来自空间相关区域的信息。通过仅微调轻量级组件并冻结核心LLM层，TIDES能够高效地适应特定领域的模式，而不会产生过多的训练开销。在真实蜂窝流量数据集上的大量实验表明，TIDES在预测精度和鲁棒性方面均显著优于最先进的基线方法。我们的结果表明，将空间感知集成到基于LLM的预测器中是释放未来6G系统中可扩展和智能网络管理的关键。

🔬 方法详解

问题定义：论文旨在解决城市无线流量预测问题，现有方法，特别是基于深度学习和LLM的方法，未能充分利用城市交通流量的空间依赖性，导致预测精度和鲁棒性不足。这些方法通常将各个区域的流量视为独立的时间序列，忽略了区域间的相互影响。

核心思路：论文的核心思路是将空间信息融入到基于LLM的无线流量预测模型中。通过识别不同区域的异构流量模式，并利用空间注意力机制，使LLM能够学习和利用区域间的空间相关性，从而提高预测精度。这种方法旨在弥合数值交通数据和语言模型之间的领域差距。

技术框架：TIDES框架包含以下几个主要模块：1) 异构流量模式识别：使用聚类算法将城市划分为具有相似流量模式的区域。2) 个性化模型训练：为每个区域训练一个专门的预测模型，以适应其独特的流量特征。3) 提示工程：将统计流量特征嵌入为结构化输入，以便LLM能够理解和处理数值数据。4) DeepSeek模块：通过跨域注意力机制实现空间对齐，使LLM能够利用来自空间相关区域的信息。

关键创新：TIDES的关键创新在于DeepSeek模块，它通过跨域注意力机制将空间信息融入到LLM中。与传统的空间建模方法不同，DeepSeek模块允许LLM直接学习区域间的空间关系，而无需手动设计复杂的空间特征。此外，TIDES采用了一种轻量级的微调策略，只微调LLM的部分参数，从而降低了训练成本。

关键设计：DeepSeek模块使用跨域注意力机制，允许LLM在不同区域的流量数据之间进行信息交互。具体来说，该模块计算每个区域与其他区域之间的注意力权重，并使用这些权重来聚合来自其他区域的信息。此外，TIDES使用了一种提示工程方案，将统计流量特征（如平均流量、方差等）嵌入为结构化输入，以便LLM能够更好地理解和处理数值数据。损失函数方面，论文可能采用了均方误差（MSE）或平均绝对误差（MAE）等常用的回归损失函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TIDES在真实蜂窝流量数据集上显著优于现有基线方法。具体而言，TIDES在预测精度方面取得了显著提升，并且在不同流量模式下表现出更强的鲁棒性。论文中提到TIDES在预测精度和鲁棒性方面均显著优于最先进的基线方法，但未给出具体数值。

🎯 应用场景

该研究成果可应用于智能交通管理、无线网络资源优化、城市规划等领域。通过准确预测无线流量，可以实现更高效的网络资源分配，提升用户体验，并为城市交通规划提供数据支持。未来，该方法有望扩展到其他时空预测任务，如电力负荷预测、环境监测等。

📄 摘要（原文）

The growing demand for intelligent, adaptive resource management in next-generation wireless networks has underscored the importance of accurate and scalable wireless traffic prediction. While recent advancements in deep learning and foundation models such as large language models (LLMs) have demonstrated promising forecasting capabilities, they largely overlook the spatial dependencies inherent in city-scale traffic dynamics. In this paper, we propose TIDES (Traffic Intelligence with DeepSeek-Enhanced Spatial-temporal prediction), a novel LLM-based framework that captures spatial-temporal correlations for urban wireless traffic prediction. TIDES first identifies heterogeneous traffic patterns across regions through a clustering mechanism and trains personalized models for each region to balance generalization and specialization. To bridge the domain gap between numerical traffic data and language-based models, we introduce a prompt engineering scheme that embeds statistical traffic features as structured inputs. Furthermore, we design a DeepSeek module that enables spatial alignment via cross-domain attention, allowing the LLM to leverage information from spatially related regions. By fine-tuning only lightweight components while freezing core LLM layers, TIDES achieves efficient adaptation to domain-specific patterns without incurring excessive training overhead. Extensive experiments on real-world cellular traffic datasets demonstrate that TIDES significantly outperforms state-of-the-art baselines in both prediction accuracy and robustness. Our results indicate that integrating spatial awareness into LLM-based predictors is the key to unlocking scalable and intelligent network management in future 6G systems.