Wet-Biased Data Pipelines Mislead the Training and Evaluation of Generative Precipitation Nowcasting
作者: Christoph Metzl, Stefan Kapsreiter, Kianusch Vahid Yousefnia, Virginia Poli, Richard Müller, Frank Krüger, Tobias Bölle
分类: cs.LG, physics.ao-ph
发布日期: 2026-10-19
备注: 63 pages, 7 figures and 3 tables in the main text, 11 supplementary figures and 9 supplementary tables. This work has been submitted to npj Climate and Atmospheric Science
💡 一句话要点
揭示湿偏数据管道对生成降水预报训练与评估的误导
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 生成模型 降水预报 数据偏差 模型评估 气象预测 目标依赖采样
📋 核心要点
- 现有生成降水预报模型在训练和评估时，常常依赖湿偏数据集，导致评估结果偏差。
- 论文提出通过分析目标依赖采样对生成模型条件分布的影响，揭示评估偏差与训练偏差的关系。
- 实验结果表明，目标依赖测试采样会导致模型在不同测试集上的表现截然不同，影响模型开发方向。
📝 摘要（中文）
生成模型在降水预报中的训练和评估主要依赖于湿偏数据集，这些数据集过度代表降水事件以强调稀有极端情况。基于目标观测选择测试案例会偏向于匹配所选分布的预报，而非预期的部署分布。本文分析了目标依赖采样如何改变生成模型学习的条件分布，并展示了在固定的卫星到雷达扩散模型下，目标依赖测试采样如何逆转校准评估，导致模型在湿偏测试集上表现出低预测性，而在代表部署的测试集上则表现出高预测性。
🔬 方法详解
问题定义：本文旨在解决生成降水预报模型在湿偏数据集上训练与评估所导致的偏差问题。现有方法在选择测试案例时，往往基于目标观测，导致评估结果不准确。
核心思路：论文通过分析目标依赖采样如何影响生成模型学习的条件分布，提出了在评估时应考虑与实际部署分布相匹配的测试集选择，以避免评估偏差。
技术框架：研究采用固定的卫星到雷达扩散模型，分析目标依赖采样对模型校准评估的影响。整体流程包括数据集构建、模型训练、目标依赖测试采样及评估阶段。
关键创新：论文的主要创新在于揭示了目标依赖采样如何导致生成模型在不同测试集上的表现差异，尤其是在湿偏与部署代表性测试集之间的反转现象。
关键设计：研究中采用了分类器无关指导的技术，设置了特定的损失函数和参数，以确保模型在不同测试集上的评估结果能够反映真实的预测能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，模型在湿偏测试集上的预测能力显著低于在代表部署的测试集上的表现，反映出目标依赖采样对模型校准评估的重大影响。这一发现强调了在模型开发过程中考虑数据集选择的重要性。
🎯 应用场景
该研究对气象预测、灾害预警等领域具有重要的应用价值。通过改进生成降水预报模型的训练与评估方法，可以提高降水预报的准确性和可靠性，从而为相关决策提供更为精准的数据支持，降低潜在的经济损失和人员伤亡风险。
📄 摘要（原文）
Generative models for precipitation nowcasting are trained and evaluated predominantly on wet-biased datasets, which over-represent precipitation events to emphasize rare extremes. Selecting test cases based on target observations is known to favor forecasts that match the selected distribution rather than the intended deployment distribution. We show analytically how this target-dependent sampling also shifts the conditional distribution learned by generative models. When training and test sampling match, even an ideal model learns precisely the distribution favored by evaluation, allowing the evaluation bias to conceal the training bias. Using a fixed satellite-to-radar diffusion model, we demonstrate that target-dependent test sampling can reverse the calibration assessment. The model appears under-predictive on a wet-biased test set but over-predictive on a deployment-representative test set. This result is replicated outside the model's training domain after a seven-year gap. Utilizing classifier-free guidance as an example, we demonstrate how the contradictory calibration assessment can misdirect downstream model development.