Xaurora: Generative Weather Forecasting with Denoising Stochastic Interpolants from a Foundation Model Prior
作者: Eliot Walt, Miltiadis Kofinas, Nikolaj Mücke, Efstratios Gavves, Dim Coumou
分类: cs.LG
发布日期: 2026-10-05
备注: 53 pages, 42 figures
💡 一句话要点
提出Xaurora以解决天气预报中的不确定性量化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 天气预报 深度学习 生成模型 随机微分方程 不确定性量化
📋 核心要点
- 现有的确定性基础模型在生成大规模天气预报集合时存在局限，无法有效进行不确定性量化和极端天气评估。
- 本文提出了一种新颖的生成方法——去噪随机插值，结合重放缓冲区实现随机微分方程的概率训练，从而将Aurora模型转变为Xaurora。
- Xaurora在全球集合指标上表现出色，能够在13分钟内生成高质量的15天天气预报，显示出其参数和样本效率。
📝 摘要（中文）
近年来，深度学习在天气预报领域取得了革命性进展，尤其是通过大气基础模型，这些模型在计算成本上远低于传统物理模型。然而，现有的大多数基础模型是确定性的，限制了大规模集合生成以实现准确的不确定性量化和极端天气风险评估。为了解决这些问题，本文将预训练的确定性模型Aurora转变为生成性集合预测模型Xaurora，提出了一种新颖的生成方法——去噪随机插值，并结合重放缓冲区进行随机微分方程的展开，支持SDE轨迹的概率训练。实验结果表明，Xaurora在全球集合指标上接近最先进水平，并且在15天的预报中表现出色，展现了确定性基础模型向更强随机模型的有效扩展。
🔬 方法详解
问题定义：本文旨在解决现有确定性天气预报模型在不确定性量化和极端天气风险评估中的不足，尤其是在生成大规模天气预报集合时的局限性。
核心思路：通过将预训练的确定性基础模型Aurora转化为生成性模型Xaurora，采用去噪随机插值方法和重放缓冲区来支持随机微分方程的概率训练，从而提高模型的预测能力和不确定性评估。
技术框架：Xaurora的整体架构包括预训练的Aurora模型作为基础，通过去噪随机插值生成样本，并利用重放缓冲区进行SDE轨迹的概率训练，形成一个高效的生成性天气预报系统。
关键创新：最重要的创新在于将确定性模型转变为生成性模型的能力，利用去噪随机插值方法实现了对天气预报的不确定性建模，显著提升了预测的准确性和可靠性。
关键设计：在模型设计中，采用了高效的参数设置和损失函数，确保了模型在训练过程中的稳定性和收敛性，同时优化了网络结构以提高生成样本的质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Xaurora在全球集合指标上接近最先进水平，并且在15天的天气预报中仅需13分钟生成，显示出其在参数和样本效率上的优势，显著提升了预测的准确性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括气象预报、气候变化研究以及自然灾害预警等。通过提高天气预报的准确性和不确定性量化能力，Xaurora能够为决策者提供更可靠的信息，帮助制定应对极端天气的策略，具有重要的实际价值和社会影响。
📄 摘要（原文）
Deep learning has revolutionised weather forecasting in recent years, especially through atmospheric foundation models, which offer competitive skill for a fraction of the computational costs of classic physics-based models. However, most existing foundation models are deterministic, limiting the generation of large ensembles for accurate uncertainty quantification, extreme weather risk assessment, and long-range weather forecasting. Furthermore, these models incur a large, often prohibitive, computational overhead to train from scratch. To address these shortcomings, we turn a pretrained deterministic prior model, namely the Aurora foundation model, into a generative ensemble-prediction model. To that end, we introduce a novel generative method, Denoising Stochastic Interpolants, combined with a replay buffer for Stochastic Differential Equation (SDE) rollout, enabling probabilistic training of SDE trajectories. Our stochastic foundation model, Xaurora, is finetuned from the small Aurora version, yet it approaches the state-of-the-art on global ensemble metrics and is competitive with the large version of Aurora. Our method is parameter and sample efficient, and generates skilful 15-day forecasts in 13 minutes. Our results demonstrate that deterministic foundation models can be efficiently extended into even stronger stochastic models.