WeatherSyn: An Instruction Tuning MLLM For Weather Forecasting Report Generation

📄 arXiv: 2605.07522v1 📥 PDF

作者: Zinan Zheng, Yang Liu, Nuo Chen, Juepeng Zheng, Hong Cheng, Jia Li

分类: cs.CL

发布日期: 2026-05-08

备注: ICML 2026

💡 一句话要点

提出WeatherSyn模型与数据集，通过指令微调实现气象预报报告的自动化生成

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 指令微调 气象预报 自然语言生成 零样本泛化 领域专用模型

📋 核心要点

  1. 现有气象预报依赖人工分析多源数据，存在信息过载、处理效率低且缺乏自动化生成工具的挑战。
  2. 论文定义了气象预报报告（WFR）任务，构建了首个指令微调数据集，并提出了专用的WeatherSyn模型。
  3. 实验表明，WeatherSyn在复杂气象维度上超越了主流闭源模型，并展现出优异的跨区域零样本泛化能力。

📝 摘要（中文）

准确的气象预报报告对个人生活规划及农业生产至关重要。然而，当前预报流程高度依赖人工分析多源数据，导致信息过载且效率低下。随着多模态大语言模型（MLLM）的发展，利用数据驱动模型进行气象报告生成的研究尚处于起步阶段。本文提出了气象预报报告（WFR）任务，并构建了首个针对该任务的指令微调数据集WeatherSyn，涵盖美国31个城市及8个气象维度。基于此，我们开发了首个专门用于生成气象预报报告的模型WeatherSyn。在数据集上的多指标评估显示，该模型在处理结构复杂的气象信息时，性能显著优于主流闭源MLLM。此外，实验证明该模型在不同地理区域间具有强大的迁移能力和零样本泛化潜力，为气象领域专用MLLM的开发提供了重要参考。

🔬 方法详解

问题定义：论文旨在解决气象预报领域中，从多源气象数据到自然语言预报报告转换过程中的自动化缺失问题。现有方法依赖人工分析，难以应对海量数据带来的信息过载与时效性要求。

核心思路：通过构建高质量的指令微调数据集，将气象预报任务转化为多模态指令遵循任务。利用MLLM的推理与生成能力，实现从结构化气象数据到专业预报文本的端到端映射。

技术框架：整体框架基于多模态大语言模型架构，通过指令微调（Instruction Tuning）范式进行训练。模型接收多源气象数据作为输入，通过预训练的视觉/数据编码器与大语言模型对齐，输出符合气象专业规范的预报报告。

关键创新：首次构建了针对气象预报报告生成的指令微调数据集，填补了该领域数据资源的空白；提出了专门针对气象领域知识优化的MLLM，实现了对复杂气象要素的精准语义表达。

关键设计：数据集涵盖了31个城市及8个气象维度，确保了模型在不同地理环境下的鲁棒性。训练过程中采用了指令微调策略，使模型能够理解并遵循气象报告的特定格式与专业术语要求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，WeatherSyn在多项评估指标上均优于主流闭源MLLM，特别是在处理结构复杂的气象维度时表现出显著的性能优势。此外，该模型在不同地理区域的测试中展现了极强的零样本迁移能力，验证了其在气象领域专用化任务中的高效性与泛化潜力。

🎯 应用场景

该研究可广泛应用于气象局自动化报告生成系统、智慧农业决策支持平台及个人天气预报应用。通过将复杂的气象数据转化为易读的自然语言，能够显著提升预报效率，为公众提供更具针对性的生活建议，并辅助农业、交通等行业进行精细化风险管理。

📄 摘要（原文）

Accurate weather forecast reporting enables individuals and communities to better plan daily activities and agricultural operations. However, the current reporting process primarily relies on manual analysis of multi-source data, which leads to information overload and reduced efficiency. With the development of multimodal large language models (MLLMs), leveraging data-driven models to analyze and generate reports in the weather forecasting domain remains largely underexplored. In this work, we propose the Weather Forecasting Report (WFR) task and construct the first instruction-tuning dataset for this task, named~\DatasetNameL, which covers 31 cities in America and 8 weather aspects. Based on this corpus, we develop the first model, \ModelNameL, specialized in generating weather forecast reports. Evaluation across multiple metrics on our dataset shows that \ModelNameL~ consistently outperforms leading closed-source MLLMs, particularly on structurally complex weather aspects. We further analyze its performance across diverse geographic regions and weather aspects. \ModelNameL~ demonstrates strong transferability across different regions, highlighting its zero-shot generalization capability. \ModelNameL~offers valuable insight for developing MLLMs specialized in weather report generation. .