Generative 3D Gaussian Splatting for Arbitrary-ResolutionAtmospheric Downscaling and Forecasting

📄 arXiv: 2604.07928v1 📥 PDF

作者: Tao Hana, Zhibin Wen, Zhenghao Chen, Fenghua Lin, Junyu Gao, Song Guo, Lei Bai

分类: cs.CV, cs.LG

发布日期: 2026-04-09

备注: 20 pages, 13 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于生成式3D高斯溅射和尺度感知Transformer的大气降尺度和任意分辨率预测方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 数值天气预报 3D高斯溅射 尺度感知注意力 大气降尺度 任意分辨率预测

📋 核心要点

  1. 现有基于AI的数值天气预报（NWP）方法在生成高分辨率输出时，由于多尺度适应性有限和数据表示效率低下，计算成本仍然很高。
  2. 论文提出GSSA-ViT，利用3D高斯溅射表示大气场，并结合生成式预测和尺度感知注意力机制，实现任意分辨率预测和灵活降尺度。
  3. 实验表明，该方法在ERA5数据集上能够准确预测87个大气变量，并在ERA5和CMIP6数据集上展示了其在降尺度任务中的优越性能。

📝 摘要（中文）

本文提出了一种基于3D高斯溅射的尺度感知视觉Transformer (GSSA-ViT)，用于高维大气场的任意分辨率预测和灵活降尺度。该框架将经纬度网格点视为3D高斯分布的中心，并引入生成式3D高斯预测方案来估计关键参数，包括协方差、属性和不透明度，从而提高泛化能力并减轻过拟合。此外，设计了一个尺度感知注意力模块来捕获跨尺度依赖关系，使模型能够有效地整合不同降尺度比例的信息，并支持连续分辨率自适应。据我们所知，这是第一个将生成式3D高斯建模与尺度感知注意力相结合，用于统一多尺度预测的数值天气预报方法。在ERA5上的实验表明，该方法能够准确预测87个大气变量在任意分辨率下的值，而在ERA5和CMIP6上的评估表明，该方法在降尺度任务中表现出色。该框架为高分辨率、多尺度大气预测和降尺度提供了一种高效且可扩展的解决方案。

🔬 方法详解

问题定义：论文旨在解决AI数值天气预报中，生成高分辨率大气场预测结果时计算成本高昂的问题。现有方法在多尺度适应性和数据表示效率方面存在不足，难以实现任意分辨率的预测和灵活的降尺度。

核心思路：论文的核心思路是将大气场的经纬度网格点视为3D高斯分布的中心，利用3D高斯溅射技术来表示大气场。通过生成式模型预测3D高斯分布的关键参数，并引入尺度感知注意力机制来捕获跨尺度的依赖关系，从而实现任意分辨率的预测和灵活的降尺度。这种设计能够提高模型的泛化能力，减轻过拟合，并有效地整合不同降尺度比例的信息。

技术框架：GSSA-ViT框架包含以下主要模块：1) 3D高斯溅射表示：将大气场的经纬度网格点转换为3D高斯分布；2) 生成式3D高斯预测：利用生成式模型预测3D高斯分布的参数，包括协方差、属性和不透明度；3) 尺度感知注意力模块：捕获跨尺度的依赖关系，整合不同降尺度比例的信息；4) 预测输出：根据预测的3D高斯分布参数，生成任意分辨率的大气场预测结果。

关键创新：论文最重要的技术创新点在于将生成式3D高斯建模与尺度感知注意力机制相结合，用于统一的多尺度大气预测。与现有方法相比，该方法能够更有效地表示和处理大气场数据，提高模型的泛化能力和预测精度，并支持任意分辨率的预测和灵活的降尺度。

关键设计：论文的关键设计包括：1) 使用3D高斯溅射技术表示大气场，能够更有效地捕捉大气场的空间结构信息；2) 设计生成式3D高斯预测方案，提高模型的泛化能力，减轻过拟合；3) 引入尺度感知注意力模块，捕获跨尺度的依赖关系，整合不同降尺度比例的信息；4) 损失函数的设计，可能包括重建损失、正则化损失等，以优化模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在ERA5数据集上能够准确预测87个大气变量，并在ERA5和CMIP6数据集上展示了其在降尺度任务中的优越性能。具体性能数据和对比基线未在摘要中给出，但强调了其在任意分辨率预测和降尺度方面的优势。

🎯 应用场景

该研究成果可应用于高分辨率数值天气预报、气候变化研究、农业气象服务、航空气象保障等领域。通过提供更准确、更精细的大气场预测，可以帮助人们更好地应对极端天气事件，优化资源配置，提高生产效率，并为气候变化研究提供更可靠的数据支持。未来，该方法有望进一步推广到其他地球科学领域，如海洋、陆地等。

📄 摘要（原文）

While AI-based numerical weather prediction (NWP) enables rapid forecasting, generating high-resolution outputs remains computationally demanding due to limited multi-scale adaptability and inefficient data representations. We propose the 3D Gaussian splatting-based scale-aware vision transformer (GSSA-ViT), a novel framework for arbitrary-resolution forecasting and flexible downscaling of high-dimensional atmospheric fields. Specifically, latitude-longitude grid points are treated as centers of 3D Gaussians. A generative 3D Gaussian prediction scheme is introduced to estimate key parameters, including covariance, attributes, and opacity, for unseen samples, improving generalization and mitigating overfitting. In addition, a scale-aware attention module is designed to capture cross-scale dependencies, enabling the model to effectively integrate information across varying downscaling ratios and support continuous resolution adaptation. To our knowledge, this is the first NWP approach that combines generative 3D Gaussian modeling with scale-aware attention for unified multi-scale prediction. Experiments on ERA5 show that the proposed method accurately forecasts 87 atmospheric variables at arbitrary resolutions, while evaluations on ERA5 and CMIP6 demonstrate its superior performance in downscaling tasks. The proposed framework provides an efficient and scalable solution for high-resolution, multi-scale atmospheric prediction and downscaling. Code is available at: https://github.com/binbin2xs/weather-GS.