Mamba time series forecasting with uncertainty quantification
作者: Pedro Pessoa, Paul Campitelli, Douglas P. Shepherd, S. Banu Ozkan, Steve Pressé
分类: stat.ML, cs.LG, nlin.CD
发布日期: 2025-03-13 (更新: 2025-06-11)
🔗 代码/项目: GITHUB
💡 一句话要点
提出Mamba-ProbTSF，用于时间序列预测并量化预测不确定性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 时间序列预测 不确定性量化 Mamba模型 状态空间模型 概率预测
📋 核心要点
- Mamba等状态空间模型在时间序列预测中表现出潜力，但在电力和交通等基准测试中存在显著预测误差，缺乏不确定性量化。
- Mamba-ProbTSF采用双网络结构，一个网络进行点预测，另一个网络估计预测方差，从而实现概率预测和不确定性量化。
- 实验表明，Mamba-ProbTSF能有效降低预测分布与真实数据分布的KL散度，并在实际应用中提供可靠的不确定性估计。
📝 摘要（中文）
本文提出了一种基于Mamba架构的双网络框架Mamba-ProbTSF，用于概率时间序列预测。该框架包含两个网络，一个生成点预测，另一个通过建模方差来估计预测不确定性。在合成和真实世界基准数据集上的评估表明，该方法有效降低了预测分布与数据之间的Kullback-Leibler散度，合成数据降至$10^{-3}$量级，真实数据降至$10^{-1}$量级。在电力消耗和交通流量预测基准测试中，真实轨迹在95%的时间内保持在预测不确定性区间（两倍标准差）内。文章最后讨论了潜在的局限性、改进性能的调整以及将该框架应用于纯粹或主要随机动态过程的考虑。
🔬 方法详解
问题定义：现有基于Mamba的时间序列预测方法虽然在捕捉序列模式方面表现出色，但在实际应用中，例如电力消耗和交通流量预测，其预测误差较高。更重要的是，这些方法缺乏对预测不确定性的量化，使得用户难以判断预测结果的可信度，尤其是在数据存在较大波动时。因此，如何提高Mamba模型的预测精度，并提供可靠的不确定性估计，是本文要解决的核心问题。
核心思路：本文的核心思路是构建一个双网络框架，其中一个网络负责生成点预测，即对未来时间序列值的最佳估计；另一个网络则负责估计预测的方差，从而量化预测的不确定性。通过同时训练这两个网络，模型可以学习到数据中的模式以及预测结果可能存在的偏差范围。这种方法允许模型不仅提供预测值，还提供预测的可信度，从而帮助用户做出更明智的决策。
技术框架：Mamba-ProbTSF框架包含两个并行的Mamba网络：点预测网络和方差预测网络。输入时间序列数据首先被输入到这两个网络中。点预测网络输出对未来时间序列值的预测，而方差预测网络输出预测方差的估计。这两个网络的输出共同构成了一个概率预测，其中点预测是预测分布的均值，方差预测是预测分布的方差。在训练过程中，使用损失函数来衡量预测分布与真实数据之间的差异，例如负对数似然或Kullback-Leibler散度。
关键创新：本文最重要的技术创新在于将Mamba架构与概率预测相结合，通过双网络结构同时学习点预测和不确定性估计。与传统的点预测方法相比，Mamba-ProbTSF能够提供更丰富的信息，帮助用户评估预测的可靠性。此外，该方法利用Mamba模型强大的序列建模能力，能够有效地捕捉时间序列数据中的复杂模式，从而提高预测精度和不确定性估计的准确性。
关键设计：两个Mamba网络的结构可以相同或不同，具体取决于应用场景和数据特性。损失函数的设计至关重要，需要能够有效地衡量预测分布与真实数据之间的差异。例如，可以使用负对数似然损失函数，假设预测分布为高斯分布，并根据点预测和方差预测计算似然值。此外，还可以使用Kullback-Leibler散度来衡量预测分布与真实数据分布之间的差异。在训练过程中，可以使用Adam等优化算法来更新网络参数。
🖼️ 关键图片
📊 实验亮点
在合成数据上，Mamba-ProbTSF将预测分布与真实数据分布的Kullback-Leibler散度降低到$10^{-3}$量级，在真实世界基准数据集上降低到$10^{-1}$量级。在电力消耗和交通流量预测基准测试中，真实轨迹在95%的时间内保持在预测不确定性区间（两倍标准差）内，验证了该方法在实际应用中的有效性。
🎯 应用场景
Mamba-ProbTSF可应用于各种时间序列预测场景，如电力需求预测、交通流量预测、金融市场分析和供应链管理。该方法提供的预测不确定性量化功能，有助于风险评估和决策制定。例如，在电力需求预测中，可以利用不确定性信息来优化电力调度，降低停电风险。在金融市场分析中，可以利用不确定性信息来评估投资风险，制定更稳健的投资策略。
📄 摘要（原文）
State space models, such as Mamba, have recently garnered attention in time series forecasting due to their ability to capture sequence patterns. However, in electricity consumption benchmarks, Mamba forecasts exhibit a mean error of approximately 8\%. Similarly, in traffic occupancy benchmarks, the mean error reaches 18\%. This discrepancy leaves us to wonder whether the prediction is simply inaccurate or falls within error given spread in historical data. To address this limitation, we propose a method to quantify the predictive uncertainty of Mamba forecasts. Here, we propose a dual-network framework based on the Mamba architecture for probabilistic forecasting, where one network generates point forecasts while the other estimates predictive uncertainty by modeling variance. We abbreviate our tool, Mamba with probabilistic time series forecasting, as Mamba-ProbTSF and the code for its implementation is available on GitHub (https://github.com/PessoaP/Mamba-ProbTSF). Evaluating this approach on synthetic and real-world benchmark datasets, we find Kullback-Leibler divergence between the learned distributions and the data--which, in the limit of infinite data, should converge to zero if the model correctly captures the underlying probability distribution--reduced to the order of $10^{-3}$ for synthetic data and $10^{-1}$ for real-world benchmark, demonstrating its effectiveness. We find that in both the electricity consumption and traffic occupancy benchmark, the true trajectory stays within the predicted uncertainty interval at the two-sigma level about 95\% of the time. We end with a consideration of potential limitations, adjustments to improve performance, and considerations for applying this framework to processes for purely or largely stochastic dynamics where the stochastic changes accumulate, as observed for example in pure Brownian motion or molecular dynamics trajectories.