CLLMate: A Multimodal Benchmark for Weather and Climate Events Forecasting

📄 arXiv: 2409.19058v2 📥 PDF

作者: Haobo Li, Zhaowei Wang, Jiachen Wang, Yueya Wang, Alexis Kai Hon Lau, Huamin Qu

分类: cs.LG, cs.AI, cs.CL, physics.ao-ph

发布日期: 2024-09-27 (更新: 2025-02-16)

💡 一句话要点

提出CLLMate多模态基准数据集，用于天气和气候事件预测任务，并评估现有MLLM模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 天气预测 气候事件预测 自然语言生成 基准数据集

📋 核心要点

  1. 现有环境预测研究侧重数值气象变量预测，缺乏将变量转化为事件叙述的能力。
  2. 提出Weather and Climate Event Forecasting (WCEF)任务，利用多模态数据预测天气和气候事件。
  3. 构建CLLMate数据集，包含环境新闻文章和ERA5再分析数据，并对现有MLLM进行基准测试。

📝 摘要（中文）

天气和气候事件预测对于采取适当措施减轻环境危害和减少损失至关重要。然而，现有的环境预测研究主要集中于预测数值气象变量（例如，温度），而忽略了将这些变量转化为关于事件及其后果的可操作文本叙述。为了弥合这一差距，我们提出了天气和气候事件预测（WCEF）这一新任务，该任务利用数值气象栅格数据和文本事件数据来预测天气和气候事件。由于多模态数据对齐的困难以及缺乏监督数据集，这项任务具有挑战性。为了应对这些挑战，我们提出了CLLMate，这是第一个用于WCEF的多模态数据集，它使用26,156篇环境新闻文章与ERA5再分析数据对齐。我们系统地对CLLMate上的23个现有MLLM进行了基准测试，包括闭源、开源和我们微调的模型。我们的实验揭示了现有MLLM的优势和局限性，以及CLLMate对于WCEF任务的训练和基准测试的价值。

🔬 方法详解

问题定义：论文旨在解决天气和气候事件预测问题，现有方法主要关注数值气象变量的预测，缺乏将这些变量转化为可操作的文本叙述的能力。这导致无法直接理解气象数据所代表的实际事件及其潜在影响。因此，需要一种能够结合数值气象数据和文本信息，从而预测天气和气候事件的方法。

核心思路：论文的核心思路是利用多模态学习方法，将数值气象栅格数据和文本事件数据相结合，从而预测天气和气候事件。通过构建一个包含环境新闻文章和ERA5再分析数据的多模态数据集CLLMate，并在此数据集上对现有的多模态大语言模型（MLLM）进行基准测试，从而评估这些模型在天气和气候事件预测任务中的表现。

技术框架：整体框架包含数据收集与对齐、模型选择与微调、以及基准测试与分析三个主要阶段。首先，收集环境新闻文章和ERA5再分析数据，并进行对齐，构建CLLMate数据集。然后，选择多个现有的MLLM模型，包括闭源和开源模型，并在CLLMate数据集上进行微调。最后，对这些模型进行基准测试，评估其在天气和气候事件预测任务中的性能，并分析其优势和局限性。

关键创新：论文的关键创新在于提出了天气和气候事件预测（WCEF）这一新任务，并构建了首个用于该任务的多模态数据集CLLMate。此外，论文还系统地对现有的MLLM模型进行了基准测试，揭示了它们在WCEF任务中的性能表现和潜在问题。与现有方法相比，该研究更注重将数值气象数据转化为可理解的文本叙述，从而更好地服务于实际应用。

关键设计：CLLMate数据集包含26,156篇环境新闻文章，并与ERA5再分析数据进行对齐。在模型选择方面，论文选择了多个具有代表性的MLLM模型，包括闭源模型（如GPT-4）和开源模型（如LLaMA）。在微调过程中，使用了标准的监督学习方法，并针对不同的模型结构进行了适当的调整。在基准测试中，使用了多种评估指标，包括文本生成质量、事件预测准确率等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的MLLM模型在CLLMate数据集上表现出一定的预测能力，但仍存在一些局限性。例如，一些模型在生成长文本叙述时容易出现语义不一致的问题。通过对不同模型的性能进行对比分析，论文揭示了它们在WCEF任务中的优势和不足，为未来的模型改进提供了重要的参考。

🎯 应用场景

该研究成果可应用于灾害预警、环境监测、气候变化研究等领域。通过将数值气象数据转化为可理解的文本叙述，可以帮助决策者和公众更好地了解天气和气候事件的潜在影响，从而采取更有效的应对措施。未来，该研究可以进一步扩展到其他环境事件的预测，并与其他领域的数据进行融合，从而构建更全面的环境预测系统。

📄 摘要（原文）

Forecasting weather and climate events is crucial for making appropriate measures to mitigate environmental hazards and minimize losses. However, existing environmental forecasting research focuses narrowly on predicting numerical meteorological variables (e.g., temperature), neglecting the translation of these variables into actionable textual narratives of events and their consequences. To bridge this gap, we proposed Weather and Climate Event Forecasting (WCEF), a new task that leverages numerical meteorological raster data and textual event data to predict weather and climate events. This task is challenging to accomplish due to difficulties in aligning multimodal data and the lack of supervised datasets. To address these challenges, we present CLLMate, the first multimodal dataset for WCEF, using 26,156 environmental news articles aligned with ERA5 reanalysis data. We systematically benchmark 23 existing MLLMs on CLLMate, including closed-source, open-source, and our fine-tuned models. Our experiments reveal the advantages and limitations of existing MLLMs and the value of CLLMate for the training and benchmarking of the WCEF task.