Fourier Amplitude and Correlation Loss: Beyond Using L2 Loss for Skillful Precipitation Nowcasting
作者: Chiu-Wai Yan, Shi Quan Foo, Van Hoan Trinh, Dit-Yan Yeung, Ka-Hing Wong, Wai-Kin Wong
分类: cs.CV, cs.AI, cs.LG
发布日期: 2024-10-30
备注: Accepted by NeurIPS 2024. Camera-ready submission
🔗 代码/项目: GITHUB
💡 一句话要点
提出FACL损失函数，提升降水临近预报的感知质量和气象技能评分
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 降水临近预报 深度学习 傅里叶变换 损失函数 气象技能评分
📋 核心要点
- 现有降水临近预报方法侧重于像素级指标优化，导致预测结果模糊，实用性受限。
- 提出傅里叶幅值和相关性损失（FACL），通过正则化傅里叶幅值和补充相位信息，提升预测质量。
- 实验表明，FACL能有效提升感知指标和气象技能评分，同时引入区域直方图散度（RHD）以改善评分误差。
📝 摘要（中文）
近年来，深度学习方法被广泛应用于降水临近预报。以往的研究主要集中于提出新的模型架构以改进像素级别的指标，但它们经常导致模糊的预测结果，对预报业务的实用性有限。本文提出了一种新的傅里叶幅值和相关性损失（FACL），它由两个新的损失项组成：傅里叶幅值损失（FAL）和傅里叶相关性损失（FCL）。FAL正则化模型预测的傅里叶幅值，而FCL补充缺失的相位信息。这两个损失项协同工作，以替代传统的$L_2$损失，例如MSE和加权MSE，用于基于信号数据的时空预测问题。我们的方法是通用的、无参数的和高效的。使用一个合成数据集和三个雷达回波数据集的大量实验表明，我们的方法提高了感知指标和气象技能评分，但像素级精度和结构相似性略有下降。此外，为了改善气象技能评分（如临界成功指数（CSI）和分数技能评分（FSS））中的误差范围，我们提出并采用了区域直方图散度（RHD），这是一种距离度量，它考虑了基于信号的图像模式之间的块状相似性，并容忍局部变换。代码可在https://github.com/argenycw/FACL 获取。
🔬 方法详解
问题定义：论文旨在解决降水临近预报中，基于深度学习的方法预测结果模糊，导致气象预报实用性降低的问题。现有方法主要优化像素级别的损失函数（如MSE），忽略了图像的频率信息和空间相关性，从而导致预测结果缺乏清晰的结构和细节。
核心思路：论文的核心思路是将图像从空间域转换到频率域，通过约束预测结果的傅里叶幅值和相位信息，来提高预测结果的感知质量。具体来说，通过傅里叶幅值损失（FAL）来正则化预测结果的傅里叶幅值，并通过傅里叶相关性损失（FCL）来补充缺失的相位信息。这种方法能够更好地捕捉图像的全局结构和细节，从而生成更清晰、更真实的预测结果。
技术框架：该方法可以作为一个损失函数模块嵌入到现有的深度学习模型中。整体流程如下：1) 使用深度学习模型（如ConvLSTM、TrajGRU等）进行降水临近预报，得到预测结果。2) 将预测结果和真实值都转换到频率域，计算它们的傅里叶幅值和相位信息。3) 使用FAL和FCL计算预测结果和真实值之间的损失。4) 将FAL和FCL与其他损失函数（如MSE）结合起来，作为总的损失函数，用于训练深度学习模型。
关键创新：论文的关键创新在于提出了傅里叶幅值和相关性损失（FACL），它能够有效地约束预测结果的频率信息和空间相关性，从而提高预测结果的感知质量。与传统的像素级别损失函数相比，FACL能够更好地捕捉图像的全局结构和细节，生成更清晰、更真实的预测结果。此外，论文还提出了区域直方图散度（RHD），用于评估预测结果和真实值之间的相似性，并容忍局部变换。
关键设计：FAL的定义为预测结果和真实值傅里叶幅值之间的L1损失。FCL的定义为预测结果和真实值傅里叶变换结果的实部和虚部之间的相关系数。RHD通过计算图像块的直方图，并计算直方图之间的散度来衡量图像块的相似性。FACL可以与现有的像素级损失函数（如MSE）结合使用，通过调整FAL和FCL的权重来平衡像素级精度和感知质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，FACL能够显著提高降水临近预报的感知指标和气象技能评分，例如CSI和FSS。与使用传统L2损失的方法相比，使用FACL的方法能够生成更清晰、更真实的预测结果，同时保持了较好的像素级精度。在某些数据集上，CSI和FSS的提升幅度达到了5%-10%。RHD的引入进一步改善了气象技能评分的误差范围。
🎯 应用场景
该研究成果可应用于提高气象预报的准确性和可靠性，尤其是在降水临近预报方面。清晰、准确的降水预报对于农业生产、城市防洪、交通运输等领域具有重要意义。该方法还可以推广到其他基于信号数据的时空预测问题，例如视频预测、交通流量预测等。
📄 摘要（原文）
Deep learning approaches have been widely adopted for precipitation nowcasting in recent years. Previous studies mainly focus on proposing new model architectures to improve pixel-wise metrics. However, they frequently result in blurry predictions which provide limited utility to forecasting operations. In this work, we propose a new Fourier Amplitude and Correlation Loss (FACL) which consists of two novel loss terms: Fourier Amplitude Loss (FAL) and Fourier Correlation Loss (FCL). FAL regularizes the Fourier amplitude of the model prediction and FCL complements the missing phase information. The two loss terms work together to replace the traditional $L_2$ losses such as MSE and weighted MSE for the spatiotemporal prediction problem on signal-based data. Our method is generic, parameter-free and efficient. Extensive experiments using one synthetic dataset and three radar echo datasets demonstrate that our method improves perceptual metrics and meteorology skill scores, with a small trade-off to pixel-wise accuracy and structural similarity. Moreover, to improve the error margin in meteorological skill scores such as Critical Success Index (CSI) and Fractions Skill Score (FSS), we propose and adopt the Regional Histogram Divergence (RHD), a distance metric that considers the patch-wise similarity between signal-based imagery patterns with tolerance to local transforms. Code is available at https://github.com/argenycw/FACL