Stable Attention Response for Reliable Precipitation Nowcasting

📄 arXiv: 2605.13181v1 📥 PDF

作者: Penghui Wen, Zexin Hu, Sen Zhang, Patrick Filippi, Xiaogang Zhu, Allen Benter, Thomas Bishop, Zhiyong Wang, Kun Hu

分类: cs.LG, cs.AI

发布日期: 2026-05-13

💡 一句话要点

HARECast：通过稳定注意力响应提升可靠的降水临近预报

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 降水临近预报 注意力机制 注意力稳定性 深度学习 时空序列预测

📋 核心要点

  1. 现有基于注意力的降水临近预报方法忽略了注意力响应在不同样本间的稳定性，导致预测可靠性降低。
  2. HARECast通过显式建模头部注意力响应能量，并使用分组正则化来减少跨样本波动，从而稳定注意力响应。
  3. 在SEVIR和MeteoNet数据集上的实验表明，HARECast达到了最先进的性能，验证了其有效性。

📝 摘要（中文）

降水临近预报由于大气动力学的高度局部化、快速演变和异质性而仍然具有挑战性。尽管最近的方法越来越多地在单模态和多模态设置中采用基于注意力的架构，但它们主要强调更强的表征学习和预测能力，而较少关注跨样本的注意力响应的稳定性。本文表明，注意力响应能量的跨样本不稳定性是预测不可靠性的一个重要且先前未被充分探索的来源。经验表明，不准确的预测与跨头和层的更大的注意力响应能量方差相关。理论上，我们证明了跨样本变异性可以通过自注意力传播，并扩大预测误差的下界。基于这一洞察，我们提出了HARECast，一个用于降水临近预报的头部注意力响应能量调节框架。HARECast显式地建模了头部注意力响应能量，并通过减少跨样本波动的分组正则化目标来稳定它。所提出的公式是通用的，适用于单模态和多模态临近预报架构。我们将HARECast实例化在一个标准的预测流程中，该流程具有重建分支和一个基于扩散的预测器，并在常用的基准数据集SEVIR和MeteoNet上对其进行评估。实验结果表明，HARECast实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决降水临近预报中，由于现有基于注意力的模型注意力机制不稳定而导致的预测可靠性问题。现有方法主要关注增强表征学习和预测能力，忽略了注意力响应在不同样本间的稳定性，导致预测结果不稳定，误差增大。

核心思路：核心思路是通过稳定注意力响应能量来提高预测的可靠性。论文认为，注意力响应能量在不同样本间的波动是导致预测不准确的重要因素。因此，通过显式地建模和调节注意力响应能量，可以减少预测误差。

技术框架：HARECast框架包含以下主要模块：1) 一个标准的预测流程，包含重建分支和一个基于扩散的预测器；2) 头部注意力响应能量建模模块，用于显式地计算每个头的注意力响应能量；3) 分组正则化模块，用于减少跨样本的注意力响应能量波动。整体流程是，首先使用重建分支和扩散预测器进行初步预测，然后通过头部注意力响应能量建模和分组正则化来稳定注意力响应，最终得到更可靠的预测结果。

关键创新：关键创新在于提出了头部注意力响应能量调节框架HARECast，该框架显式地建模了头部注意力响应能量，并通过分组正则化来稳定它。与现有方法相比，HARECast更加关注注意力机制的稳定性，从而提高了预测的可靠性。此外，该框架具有通用性，可以应用于单模态和多模态临近预报架构。

关键设计：HARECast的关键设计包括：1) 头部注意力响应能量的计算方法，具体计算方式未知；2) 分组正则化的目标函数，旨在减少跨样本的注意力响应能量波动，具体形式未知；3) HARECast可以与现有的预测模型（如基于扩散的预测器）结合使用，形成一个完整的预测流程。具体参数设置和网络结构细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HARECast在SEVIR和MeteoNet数据集上取得了最先进的性能。具体性能提升数据未知，但实验结果表明，通过稳定注意力响应能量，HARECast能够显著提高降水临近预报的准确性和可靠性，优于现有方法。

🎯 应用场景

该研究成果可应用于气象预报领域，提高降水临近预报的准确性和可靠性，为农业生产、防洪减灾、交通运输等提供更可靠的气象信息支持。未来，该方法可以推广到其他时空序列预测任务中，例如交通流量预测、电力负荷预测等。

📄 摘要（原文）

Precipitation nowcasting remains challenging due to the highly localized, rapidly evolving, and heterogeneous nature of atmospheric dynamics. Although recent methods increasingly adopt attention-based architectures in both unimodal and multimodal settings, they mainly emphasize stronger representation learning and prediction capacity, while paying less attention to the stability of attention responses across samples. In this work, we show that cross-sample instability of attention-response energy is an important and previously underexplored source of forecasting unreliability. Empirically, inaccurate forecasts are associated with larger attention-response energy variance across heads and layers. Theoretically, we show that cross-sample variability can propagate through self-attention, and enlarge a lower bound on prediction error. Based on this insight, we propose HARECast, a Head-wise Attention Response Energy-regulated framework for precipitation nowcasting. HARECast explicitly models head-wise attention-response energy and stabilizes it through a group-wise regularization objective that reduces cross-sample fluctuations. The proposed formulation is generic and applicable to both unimodal and multimodal nowcasting architectures. We instantiate HARECast in a standard forecasting pipeline with reconstruction branches and a diffusion-based predictor, and evaluate it on commonly used benchmarks--SEVIR and MeteoNet. Experimental results demonstrate that HARECast achieves state-of-the-art performance.