GraphCast-Mamba: Learning Non-Markovian Corrections for Weather Forecasting

📄 arXiv: 2610.28512v1 📥 PDF

作者: Ilya Vilkoviskiy, Liang-Hong Mo, Suozhi Huang, Dmitry A. Abanin

分类: cs.LG

发布日期: 2026-10-20

备注: 27 pages, 10 figures

💡 一句话要点

提出GraphCast-Mamba以解决天气预报中的非马尔可夫性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 天气预报 图神经网络 时间序列分析 机器学习 非马尔可夫性

📋 核心要点

  1. 现有天气预报模型在处理未解决的大气过程时，常常面临历史依赖性不足的问题，限制了预报的准确性。
  2. 论文提出的GraphCast-Mamba通过引入可训练的Mamba修正分支，结合图消息传递和Mamba层，增强了GraphCast模型的时间记忆能力。
  3. 实验结果显示，GraphCast-Mamba在十天预报中显著降低了MSE和RMSE，验证了其在天气预报中的有效性和实用性。

📝 摘要（中文）

未解决的大气过程可能引入超出许多天气预报模型短输入窗口的历史依赖性。本文提出GraphCast-Mamba，通过可训练的Mamba修正分支增强一个冻结的、预训练的$1^ ext{°}$ GraphCast骨干网络。该分支在连续的六小时预报步骤中保留时间记忆状态，学习超出GraphCast两帧输入的时间上下文信息的修正。训练仅限于修正分支，使用2015-2021年的ERA5数据。经过2500次优化器更新，所选模型相较于未修正的GraphCast骨干网络实现了显著改进。在整个十天预报中，GraphCast损失（归一化加权均方误差；MSE）降低了14.42%，在第10天（预报初始化后240小时）降低了21.66%。在这一最终预报时间点，11个评估变量组的均方根误差（RMSE）降低了7.09%至14.60%。这些结果表明，通过短期修正训练，十天天气预报得到了广泛改善，同时保留了预训练的骨干网络。

🔬 方法详解

问题定义：本文旨在解决天气预报模型在处理未解决的大气过程时的历史依赖性不足问题。现有方法通常依赖于短输入窗口，无法充分利用时间上下文信息。

核心思路：GraphCast-Mamba的核心思路是通过引入一个可训练的Mamba修正分支，结合图消息传递机制，增强模型的时间记忆能力，从而改善天气预报的准确性。

技术框架：整体架构包括一个冻结的预训练GraphCast骨干网络和一个可训练的Mamba修正分支。修正分支在每个六小时的预报步骤中保留时间状态，学习基于历史数据的修正。

关键创新：最重要的技术创新在于引入了Mamba层，使得模型能够在时间维度上进行更深层次的学习，从而超越传统的两帧输入限制，显著提升了预报性能。

关键设计：在训练过程中，使用ERA5数据进行修正分支的训练，优化器更新次数为2500次，采用归一化加权均方误差（MSE）作为损失函数，以确保模型在多个变量组上的表现均衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GraphCast-Mamba在十天预报中相较于未修正的GraphCast骨干网络，MSE降低了14.42%，在第10天时降低了21.66%。此外，11个评估变量组的RMSE在不同变量上降低了7.09%至14.60%，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括气象预报、气候研究和环境监测等。通过提高天气预报的准确性，GraphCast-Mamba能够为农业、交通、灾害管理等多个行业提供更可靠的决策支持，具有重要的实际价值和社会影响。

📄 摘要（原文）

Unresolved atmospheric processes can introduce history dependence beyond the short input windows used by many weather forecasting models. We introduce GraphCast--Mamba, which augments a frozen, pretrained $1^\circ$ GraphCast backbone with a trainable Mamba correction branch combining graph message passing and Mamba layers. The branch retains a temporal memory state across successive six-hour forecast steps, learning corrections informed by temporal context beyond GraphCast's two-frame input. Training is confined to the correction branch, using ERA5 data from 2015--2021. After 2,500 optimizer updates, including warm-up, the selected model achieves substantial improvements relative to the uncorrected GraphCast backbone. It reduces the GraphCast loss (normalized weighted mean-squared error; MSE) by 14.42% when aggregated over the full ten-day forecast and by 21.66% at day 10 (240 h after forecast initialization). At this final forecast lead time, root-mean-square error (RMSE) decreases by 7.09--14.60% across all 11 evaluated variable groups, spanning temperature, wind, pressure, geopotential, specific humidity, and precipitation. These results demonstrate broad improvements in ten-day weather forecasts through a short correction-training schedule while retaining the pretrained backbone.