TyphoFormer: Language-Augmented Transformer for Accurate Typhoon Track Forecasting

📄 arXiv: 2506.17609v3 📥 PDF

作者: Lincan Li, Eren Erman Ozguven, Yue Zhao, Guang Wang, Yiqun Xie, Yushun Dong

分类: cs.CL, cs.LG

发布日期: 2025-06-21 (更新: 2025-11-22)

备注: Accepted by ACM SIGSPATIAL 2025. Received SIGSPATIAL '25 Best Short Paper Award

💡 一句话要点

提出TyphoFormer，利用语言增强Transformer提升台风路径预测精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 台风路径预测 Transformer 自然语言处理 大型语言模型 气象预测

📋 核心要点

  1. 现有台风路径预测方法缺乏对气象上下文知识的有效利用，导致预测精度受限，尤其是在复杂情况下。
  2. TyphoFormer通过引入大型语言模型生成的文本描述，将高层次气象语义融入Transformer模型，增强上下文理解。
  3. 在HURDAT2数据集上的实验表明，TyphoFormer显著优于现有方法，尤其在非线性路径和数据稀疏场景下。

📝 摘要（中文）

精确的台风路径预测对于早期系统预警和灾害响应至关重要。虽然基于Transformer的模型在建模智慧城市中人类和车辆密集轨迹的时间动态方面表现出强大的性能，但它们通常缺乏更广泛的上下文知识，而这些知识可以提高稀疏气象轨迹（如台风路径）的预测可靠性。为了应对这一挑战，我们提出了TyphoFormer，这是一种新颖的框架，它结合了自然语言描述作为辅助提示，以改进台风轨迹预测。对于每个时间步，我们使用大型语言模型（LLM）根据北大西洋飓风数据库中记录的数值属性生成简洁的文本描述。这些语言描述捕获了高层次的气象语义，并被嵌入为附加的特殊token，添加到数值时间序列输入之前。通过在统一的Transformer编码器中集成文本和序列信息，TyphoFormer使模型能够利用仅通过数值特征无法获得的上下文线索。在HURDAT2基准上进行了大量实验，结果表明TyphoFormer始终优于其他最先进的基线方法，尤其是在涉及非线性路径偏移和有限历史观测的具有挑战性的场景下。

🔬 方法详解

问题定义：台风路径预测是重要的气象任务，但现有方法难以有效利用气象上下文信息，尤其是在台风路径发生非线性变化或历史观测数据有限的情况下，预测精度会显著下降。现有方法主要依赖数值特征，缺乏对气象语义的理解。

核心思路：TyphoFormer的核心思路是利用大型语言模型（LLM）将数值气象数据转化为自然语言描述，从而将高层次的气象语义融入到Transformer模型中。通过将文本描述作为辅助信息，增强模型对台风路径的上下文理解能力，提高预测精度。

技术框架：TyphoFormer的整体框架包括以下几个主要模块：1) 数据预处理：对原始台风数据进行清洗和格式化。2) 语言描述生成：使用LLM根据数值气象数据生成文本描述。3) 特征嵌入：将数值特征和文本描述分别嵌入到向量空间。4) Transformer编码器：使用Transformer编码器融合数值特征和文本描述，学习台风路径的时间动态和上下文信息。5) 路径预测：使用解码器根据编码器的输出预测台风路径。

关键创新：TyphoFormer的关键创新在于将自然语言处理技术引入到台风路径预测中，通过LLM生成文本描述，为Transformer模型提供更丰富的上下文信息。这种方法能够有效解决传统方法缺乏气象语义理解的问题，提高预测精度。

关键设计：在语言描述生成阶段，论文使用了预训练的LLM，并针对台风数据进行了微调。在Transformer编码器中，文本描述被嵌入为特殊的token，并与数值特征的嵌入向量拼接在一起。损失函数采用了均方误差（MSE）损失，用于衡量预测路径与真实路径之间的差异。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

TyphoFormer在HURDAT2数据集上进行了广泛的实验，结果表明其性能显著优于其他最先进的基线方法。尤其是在非线性路径偏移和有限历史观测的挑战性场景下，TyphoFormer的预测精度提升更为明显。具体性能数据未知，但论文强调了其在复杂情况下的优越性。

🎯 应用场景

TyphoFormer可应用于台风预警系统，为政府和民众提供更准确的台风路径预测，从而减少台风造成的生命和财产损失。该方法也可推广到其他气象预测领域，例如降雨预测和气温预测，具有重要的社会和经济价值。

📄 摘要（原文）

Accurate typhoon track forecasting is crucial for early system warning and disaster response. While Transformer-based models have demonstrated strong performance in modeling the temporal dynamics of dense trajectories of humans and vehicles in smart cities, they usually lack access to broader contextual knowledge that enhances the forecasting reliability of sparse meteorological trajectories, such as typhoon tracks. To address this challenge, we propose TyphoFormer, a novel framework that incorporates natural language descriptions as auxiliary prompts to improve typhoon trajectory forecasting. For each time step, we use Large Language Model (LLM) to generate concise textual descriptions based on the numerical attributes recorded in the North Atlantic hurricane database. The language descriptions capture high-level meteorological semantics and are embedded as auxiliary special tokens prepended to the numerical time series input. By integrating both textual and sequential information within a unified Transformer encoder, TyphoFormer enables the model to leverage contextual cues that are otherwise inaccessible through numerical features alone. Extensive experiments are conducted on HURDAT2 benchmark, results show that TyphoFormer consistently outperforms other state-of-the-art baseline methods, particularly under challenging scenarios involving nonlinear path shifts and limited historical observations.