On the importance of learning non-local dynamics for stable data-driven climate modeling: A 1D gravity wave-QBO testbed

📄 arXiv: 2407.05224v2 📥 PDF

作者: Hamid A. Pahlavan, Pedram Hassanzadeh, M. Joan Alexander

分类: physics.ao-ph, cs.LG

发布日期: 2024-07-07 (更新: 2024-07-16)

备注: 20 pages, 9 figures

💡 一句话要点

提出结合机器学习与气候物理以解决气候建模不稳定性问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 气候建模 机器学习 神经网络 非局部动态 参数化 稳定性 重力波 准双年振荡

📋 核心要点

  1. 现有的基于数据驱动的气候模型参数化方法存在不稳定性问题，尤其是使用监督学习算法时。
  2. 本文提出结合机器学习理论与气候物理，强调学习空间非局部动态以解决模型不稳定性。
  3. 实验结果表明，具有足够接收场的NN参数化能够稳定模拟，而小接收场则导致不稳定，准确度显著提升。

📝 摘要（中文）

机器学习（ML）技术，尤其是神经网络（NN），在气候模型的亚网格尺度参数化学习中展现出潜力。然而，数据驱动参数化的一个主要问题是模型的不稳定性。现有的解决方案往往缺乏理论基础。本文结合机器学习理论与气候物理，探讨了基于NN的参数化中的不稳定性来源，强调学习空间非局部动态的重要性。通过使用重力波（GW）参数化的准双年振荡（QBO）一维模型作为测试平台，发现NN参数化在接收场（RF）过小以捕捉非局部动态时会导致不稳定的模拟。我们考察了卷积NN、傅里叶神经算子和全连接NN三种架构，后两者具有固有的大RF。研究表明，学习非局部动态对数据驱动的时空模拟器的稳定性和准确性至关重要。

🔬 方法详解

问题定义：本文旨在解决基于神经网络的气候模型参数化中的不稳定性问题。现有方法在学习非局部动态时常常表现不佳，导致模拟结果不可靠。

核心思路：论文提出通过学习空间非局部动态来增强模型的稳定性，利用接收场（RF）概念来识别潜在的不稳定性。设计上强调RF的有效性，以确保模型能够捕捉重要的气候动态。

技术框架：研究采用一维准双年振荡（QBO）模型，结合重力波参数化进行实验。主要模块包括数据预处理、NN架构设计（卷积NN、傅里叶神经算子、全连接NN）及模型训练与评估。

关键创新：最重要的创新在于提出了接收场的概念，能够在模型设计阶段识别不稳定性，进而指导NN的架构选择与参数设置。这一方法与传统的经验性调整方法有本质区别。

关键设计：在网络结构上，卷积NN、傅里叶神经算子和全连接NN的设计均考虑了接收场的大小，确保能够捕捉非局部动态。损失函数的设计也考虑了模型的稳定性与准确性之间的平衡。通过实验验证了不同架构在不同RF下的表现差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，当接收场足够大时，NN参数化能够准确预测重力波强迫（R²约0.99），且模拟稳定；而当接收场过小，模型则表现出不稳定性。这一发现强调了接收场在气候模型中的重要性，具有显著的提升幅度。

🎯 应用场景

该研究的潜在应用领域包括气候建模、天气预报及环境监测等。通过有效学习非局部动态，能够提升气候模型的稳定性和准确性，为气候变化研究和政策制定提供更可靠的科学依据，具有重要的实际价值和未来影响。

📄 摘要（原文）

Machine learning (ML) techniques, especially neural networks (NNs), have shown promise in learning subgrid-scale parameterizations for climate models. However, a major problem with data-driven parameterizations, particularly those learned with supervised algorithms, is model instability. Current remedies are often ad-hoc and lack a theoretical foundation. Here, we combine ML theory and climate physics to address a source of instability in NN-based parameterization. We demonstrate the importance of learning spatially $\textit{non-local}$ dynamics using a 1D model of the quasi-biennial oscillation (QBO) with gravity wave (GW) parameterization as a testbed. While common offline metrics fail to identify shortcomings in learning non-local dynamics, we show that the concept of receptive field (RF) can identify instability a-priori. We find that NN-based parameterizations that seem to accurately predict GW forcings from wind profiles ($\mathbf{R^2 \approx 0.99}$) cause unstable simulations when RF is too small to capture the non-local dynamics, while NNs of the same size but large-enough RF are stable. We examine three broad classes of architectures, namely convolutional NNs, Fourier neural operators, and fully-connected NNs; the latter two have inherently large RFs. We also demonstrate that learning non-local dynamics is crucial for the stability and accuracy of a data-driven spatiotemporal emulator of the zonal wind field. Given the ubiquity of non-local dynamics in the climate system, we expect the use of effective RF, which can be computed for any NN architecture, to be important for many applications. This work highlights the necessity of integrating ML theory with physics to design and analyze data-driven algorithms for weather and climate modeling.