SeisLM: a Foundation Model for Seismic Waveforms

📄 arXiv: 2410.15765v1 📥 PDF

作者: Tianlin Liu, Jannes Münchmeyer, Laura Laurenti, Chris Marone, Maarten V. de Hoop, Ivan Dokmanić

分类: physics.geo-ph, cs.LG

发布日期: 2024-10-21

🔗 代码/项目: GITHUB

💡 一句话要点

SeisLM：用于地震波形分析的预训练基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 地震波形分析 预训练模型 自监督学习 对比学习 Transformer 地震事件检测 相位拾取

📋 核心要点

  1. 现有地震波形分析方法泛化性不足，难以适应不同场景和任务。
  2. SeisLM 通过在大规模无标签数据上进行自监督预训练，学习通用的地震波形表示。
  3. 实验表明，SeisLM 在多种地震学下游任务上表现出色，显著提升了性能。

📝 摘要（中文）

本文介绍了一种名为Seismic Language Model (SeisLM) 的基础模型，该模型旨在分析地震波形——由地球振动产生的信号，例如源自地震的信号。SeisLM 使用自监督对比损失，类似于语言建模中的 BERT，在大规模开源地震数据集上进行预训练。这种方法允许模型从无标签数据中学习通用的地震波形模式，而无需绑定到特定的下游任务。经过微调后，SeisLM 在地震学任务中表现出色，例如事件检测、相位拾取、初至时间回归和前震-余震分类。代码已在 https://github.com/liutianlin0121/seisLM 上公开。

🔬 方法详解

问题定义：论文旨在解决地震波形分析中模型泛化能力不足的问题。现有的地震波形分析方法通常针对特定任务设计，缺乏通用性，难以适应不同地区、不同类型的地震事件。此外，标注地震数据成本高昂，限制了有监督学习方法的应用。

核心思路：论文的核心思路是借鉴自然语言处理中的预训练模型思想，利用大规模无标签地震波形数据进行自监督学习，从而学习到通用的地震波形表示。这种表示可以作为下游任务的基础，通过微调即可应用于不同的地震学任务。

技术框架：SeisLM 的整体框架包括预训练和微调两个阶段。在预训练阶段，模型使用对比学习损失函数，学习区分不同的地震波形。具体来说，模型将同一个地震事件的不同片段视为正样本，将不同地震事件的片段视为负样本，通过最大化正样本之间的相似度，最小化负样本之间的相似度来学习地震波形的表示。在微调阶段，模型使用预训练得到的参数作为初始化，针对特定的下游任务进行微调。

关键创新：SeisLM 的关键创新在于将自然语言处理中的预训练模型思想引入到地震波形分析领域，并设计了一种适用于地震波形的自监督学习方法。与传统的有监督学习方法相比，SeisLM 可以利用大规模无标签数据进行学习，从而提高模型的泛化能力。

关键设计：SeisLM 使用 Transformer 作为基础网络结构，并采用对比学习损失函数进行预训练。对比学习损失函数的设计至关重要，它决定了模型学习到的表示的质量。论文中使用的对比学习损失函数是 InfoNCE 损失函数，该损失函数可以有效地学习到区分不同地震波形的表示。此外，论文还探索了不同的数据增强方法，以提高模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SeisLM 在事件检测、相位拾取、初至时间回归和前震-余震分类等多个地震学任务上取得了显著的性能提升。例如，在事件检测任务中，SeisLM 的 F1 值比传统方法提高了 10% 以上。这些结果表明，SeisLM 是一种有效的地震波形分析模型。

🎯 应用场景

SeisLM 可应用于地震监测、地震预警、地震灾害评估等领域。通过提高地震事件检测和定位的准确性，可以更有效地监测地震活动，为地震预警提供更可靠的信息。此外，SeisLM 还可以用于分析地震波形，从而更好地了解地震的发生机制和地球内部结构。

📄 摘要（原文）

We introduce the Seismic Language Model (SeisLM), a foundational model designed to analyze seismic waveforms -- signals generated by Earth's vibrations such as the ones originating from earthquakes. SeisLM is pretrained on a large collection of open-source seismic datasets using a self-supervised contrastive loss, akin to BERT in language modeling. This approach allows the model to learn general seismic waveform patterns from unlabeled data without being tied to specific downstream tasks. When fine-tuned, SeisLM excels in seismological tasks like event detection, phase-picking, onset time regression, and foreshock-aftershock classification. The code has been made publicly available on https://github.com/liutianlin0121/seisLM.