Atmospheric Transport Modeling of CO$_2$ with Neural Networks
作者: Vitus Benson, Ana Bastos, Christian Reimers, Alexander J. Winkler, Fanny Yang, Markus Reichstein
分类: cs.LG, cs.CV, physics.ao-ph
发布日期: 2024-08-20
备注: Code: https://github.com/vitusbenson/carbonbench
💡 一句话要点
利用深度神经网络进行大气CO₂输送建模，实现长期稳定和质量守恒的模拟。
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 大气输送建模 深度神经网络 CO₂模拟 质量守恒 SwinTransformer
📋 核心要点
- 大气CO₂分布建模对气候协议至关重要，现有方法难以兼顾长期稳定预测和质量守恒。
- 通过零均值中心化CO₂输入、显式通量方案和质量校正器，实现稳定且质量守恒的输送模拟。
- SwinTransformer表现出色，90天R² > 0.99，即使多年模拟也具有物理合理性，为高分辨率建模奠定基础。
📝 摘要（中文）
准确描述大气中CO₂的分布对于温室气体监测和核查系统至关重要，有助于国际气候协议的实施。大型深度神经网络有望彻底改变天气预测，这需要对大气进行3D建模。与天气预测类似，大气输送建模也面临新的挑战，需要在更长时间范围内实现稳定的预测和质量守恒，同时IO相比计算成本扮演更重要的角色。本研究探索了四种在天气预测中表现出色的深度神经网络（UNet、GraphCast、Spherical Fourier Neural Operator和SwinTransformer），以评估它们在大气示踪剂输送建模中的有效性。为此，我们构建了CarbonBench数据集，这是一个专门为欧拉大气输送机器学习模拟器量身定制的系统基准。通过架构调整，我们将模拟器的性能与大气CO₂稳步上升引起分布偏移解耦。更具体地说，我们将CO₂输入场中心化为零均值，然后使用显式通量方案和质量校正器来确保质量平衡。这种设计使得所有四种神经网络架构都能够在超过6个月的时间内实现稳定且质量守恒的输送。在我们的研究中，SwinTransformer表现出特别强的模拟能力（90天R² > 0.99），即使对于多年的前向模拟，也具有物理上合理的模拟结果。这项工作为利用神经网络进行惰性示踪气体的高分辨率正向和反向建模铺平了道路。
🔬 方法详解
问题定义：论文旨在解决大气CO₂输送建模问题，现有的大气输送模型计算成本高昂，难以进行长时间、高分辨率的模拟。同时，基于传统方法构建的机器学习模型难以保证长时间模拟的稳定性和质量守恒，容易出现误差累积和物理不一致性。
核心思路：论文的核心思路是利用深度神经网络学习大气输送过程，构建一个快速且准确的CO₂输送模拟器。为了解决长时间模拟的稳定性和质量守恒问题，论文采用了数据预处理、显式通量方案和质量校正器等技术手段，将神经网络的预测与物理约束相结合。
技术框架：整体框架包括以下几个主要步骤：1) 数据准备：使用CarbonBench数据集，该数据集包含大气CO₂浓度、风场等数据。2) 模型选择：选择四种先进的深度神经网络架构（UNet、GraphCast、Spherical Fourier Neural Operator和SwinTransformer）进行实验。3) 数据预处理：将CO₂输入场中心化为零均值，以减少CO₂浓度上升带来的分布偏移。4) 模型训练：使用历史数据训练神经网络，学习大气输送过程。5) 显式通量计算：根据神经网络预测的风场，计算CO₂的通量。6) 质量校正：使用质量校正器对CO₂浓度进行调整，确保质量守恒。7) 模型评估：使用独立的数据集评估模型的性能，包括精度、稳定性和质量守恒性。
关键创新：论文的关键创新在于将深度神经网络应用于大气CO₂输送建模，并提出了一系列技术手段来解决长时间模拟的稳定性和质量守恒问题。具体来说，零均值中心化减少了分布偏移的影响，显式通量方案保证了CO₂的输送符合物理规律，质量校正器则确保了CO₂的总量保持不变。
关键设计：论文的关键设计包括：1) 零均值中心化：将CO₂输入场减去其平均值，使其均值为零。2) 显式通量方案：使用神经网络预测的风场计算CO₂的通量，而不是直接预测CO₂浓度。3) 质量校正器：根据CO₂的总量变化，对CO₂浓度进行调整，确保质量守恒。4) SwinTransformer架构：该架构在处理长序列数据方面具有优势，能够更好地捕捉大气输送过程中的时空依赖关系。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SwinTransformer架构在CO₂输送建模中表现出色，90天R² > 0.99，即使对于多年的前向模拟，也具有物理上合理的模拟结果。通过零均值中心化、显式通量方案和质量校正器等技术手段，成功实现了长时间模拟的稳定性和质量守恒，为利用神经网络进行大气输送建模奠定了基础。
🎯 应用场景
该研究成果可应用于温室气体监测和核查系统，支持国际气候协议的实施。通过构建高分辨率、快速且准确的CO₂输送模拟器，可以更好地理解大气CO₂的分布和变化，为气候变化研究和政策制定提供科学依据。此外，该方法还可以推广到其他惰性示踪气体的输送建模，具有广泛的应用前景。
📄 摘要（原文）
Accurately describing the distribution of CO$_2$ in the atmosphere with atmospheric tracer transport models is essential for greenhouse gas monitoring and verification support systems to aid implementation of international climate agreements. Large deep neural networks are poised to revolutionize weather prediction, which requires 3D modeling of the atmosphere. While similar in this regard, atmospheric transport modeling is subject to new challenges. Both, stable predictions for longer time horizons and mass conservation throughout need to be achieved, while IO plays a larger role compared to computational costs. In this study we explore four different deep neural networks (UNet, GraphCast, Spherical Fourier Neural Operator and SwinTransformer) which have proven as state-of-the-art in weather prediction to assess their usefulness for atmospheric tracer transport modeling. For this, we assemble the CarbonBench dataset, a systematic benchmark tailored for machine learning emulators of Eulerian atmospheric transport. Through architectural adjustments, we decouple the performance of our emulators from the distribution shift caused by a steady rise in atmospheric CO$_2$. More specifically, we center CO$_2$ input fields to zero mean and then use an explicit flux scheme and a mass fixer to assure mass balance. This design enables stable and mass conserving transport for over 6 months with all four neural network architectures. In our study, the SwinTransformer displays particularly strong emulation skill (90-day $R^2 > 0.99$), with physically plausible emulation even for forward runs of multiple years. This work paves the way forward towards high resolution forward and inverse modeling of inert trace gases with neural networks.