SeisMoLLM: Advancing Seismic Monitoring via Cross-modal Transfer with Pre-trained Large Language Model

📄 arXiv: 2502.19960v2 📥 PDF

作者: Xinghao Wang, Feng Liu, Rui Su, Zhihui Wang, Lihua Fang, Lianqing Zhou, Lei Bai, Wanli Ouyang

分类: cs.LG

发布日期: 2025-02-27 (更新: 2025-07-09)

备注: Code is available at https://github.com/StarMoonWang/SeisMoLLM. v2 fixed errors in the location figures

💡 一句话要点

SeisMoLLM：利用跨模态迁移和预训练大语言模型推进地震监测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地震监测 跨模态迁移学习 大语言模型 GPT-2 波形tokenization

📋 核心要点

  1. 现有地震监测方法在处理复杂任务和退化信号时面临挑战，尤其是在数据稀缺的情况下，缺乏通用的基础模型。
  2. SeisMoLLM利用跨模态迁移，将预训练大语言模型GPT-2的知识迁移到地震监测任务中，无需直接在地震数据上预训练。
  3. SeisMoLLM在多个地震监测任务上取得了state-of-the-art的性能，并在少样本学习中表现出色，同时保持了较高的效率。

📝 摘要（中文）

深度学习的最新进展彻底改变了地震监测，但开发一个在多个复杂任务中表现良好的基础模型仍然具有挑战性，尤其是在处理退化信号或数据稀缺时。本文提出了SeisMoLLM，这是第一个利用跨模态迁移进行地震监测的基础模型，旨在释放大规模预训练语言模型的力量，而无需直接在地震数据集上进行预训练。通过精心设计的波形标记化和预训练GPT-2模型的微调，SeisMoLLM在DiTing和STEAD数据集上，在五个关键任务（反方位角估计、震中距估计、震级估计、相位拾取和初动极性分类）中实现了最先进的性能。在43个任务指标中获得了36个最佳结果，在16个少样本泛化指标中获得了12个最高分，许多相对改进幅度从10%到50%不等。除了卓越的性能外，SeisMoLLM在训练和推理方面的效率与轻量级模型相当甚至更好。这些发现确立了SeisMoLLM作为实际地震监测的有前途的基础模型，并强调了跨模态迁移作为地震研究令人兴奋的新方向，展示了先进深度学习技术推动地震学研究的潜力。

🔬 方法详解

问题定义：论文旨在解决地震监测领域缺乏通用基础模型的问题。现有方法在处理复杂任务（如反方位角估计、震中距估计、震级估计、相位拾取和初动极性分类）时，尤其是在数据质量差或数据量不足的情况下，表现不佳。这些方法通常需要大量特定任务的标注数据，泛化能力有限。

核心思路：SeisMoLLM的核心思路是利用跨模态迁移学习，将预训练大语言模型（GPT-2）学习到的通用语言知识迁移到地震监测任务中。通过将地震波形数据转换为类似文本的token序列，并对GPT-2进行微调，使模型能够理解和处理地震数据，从而实现更好的性能和泛化能力。

技术框架：SeisMoLLM的整体框架包括以下几个主要步骤：1) 波形tokenization：将地震波形数据转换为token序列，使其能够被GPT-2处理。2) 模型微调：使用地震监测任务的数据对预训练的GPT-2模型进行微调，使其适应地震数据。3) 任务预测：使用微调后的模型进行各种地震监测任务的预测，如反方位角估计、震中距估计等。

关键创新：SeisMoLLM的关键创新在于其跨模态迁移学习的方法。与传统的直接在地震数据上训练模型的方法不同，SeisMoLLM利用了预训练大语言模型的强大能力，通过跨模态迁移，实现了更好的性能和泛化能力。此外，波形tokenization方法也是一个创新点，它使得地震波形数据能够被大语言模型处理。

关键设计：SeisMoLLM的关键设计包括：1) 波形tokenization方法：具体如何将地震波形转换为token序列，可能涉及滑动窗口、离散化等技术。2) GPT-2微调策略：包括学习率、batch size、优化器等参数的设置，以及损失函数的选择（可能针对不同的地震监测任务使用不同的损失函数）。3) 网络结构：虽然基于GPT-2，但可能针对地震数据的特点进行了一些调整，例如输入层和输出层的设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SeisMoLLM在DiTing和STEAD数据集上，在五个关键任务中取得了state-of-the-art的性能。在43个任务指标中获得了36个最佳结果，在16个少样本泛化指标中获得了12个最高分，许多相对改进幅度从10%到50%不等。同时，SeisMoLLM在训练和推理方面的效率与轻量级模型相当甚至更好。

🎯 应用场景

SeisMoLLM具有广泛的应用前景，可用于地震预警、地震危险性评估、地球物理勘探等领域。该模型能够提高地震监测的精度和效率，为地震研究提供更可靠的数据支持。此外，该模型还可以推广到其他时序信号处理领域，例如语音识别、生物信号分析等。

📄 摘要（原文）

Recent advances in deep learning have revolutionized seismic monitoring, yet developing a foundation model that performs well across multiple complex tasks remains challenging, particularly when dealing with degraded signals or data scarcity. This work presents SeisMoLLM, the first foundation model that utilizes cross-modal transfer for seismic monitoring, to unleash the power of large-scale pre-training from a large language model without requiring direct pre-training on seismic datasets. Through elaborate waveform tokenization and fine-tuning of pre-trained GPT-2 model, SeisMoLLM achieves state-of-the-art performance on the DiTing and STEAD datasets across five critical tasks: back-azimuth estimation, epicentral distance estimation, magnitude estimation, phase picking, and first-motion polarity classification. It attains 36 best results out of 43 task metrics and 12 top scores out of 16 few-shot generalization metrics, with many relative improvements ranging from 10% to 50%. In addition to its superior performance, SeisMoLLM maintains efficiency comparable to or even better than lightweight models in both training and inference. These findings establish SeisMoLLM as a promising foundation model for practical seismic monitoring and highlight cross-modal transfer as an exciting new direction for earthquake studies, showcasing the potential of advanced deep learning techniques to propel seismology research forward.