BearLLM: A Prior Knowledge-Enhanced Bearing Health Management Framework with Unified Vibration Signal Representation

📄 arXiv: 2408.11281v2 📥 PDF

作者: Haotian Peng, Jiawei Liu, Jinsong Du, Jie Gao, Wei Wang

分类: cs.AI

发布日期: 2024-08-21 (更新: 2024-12-16)

备注: Accepted to AAAI2025

🔗 代码/项目: GITHUB

💡 一句话要点

BearLLM：基于先验知识增强的统一振动信号表征轴承健康管理框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 轴承健康管理 大型语言模型 多模态学习 振动信号处理 故障诊断

📋 核心要点

  1. 现有轴承健康管理方法难以有效处理不同工况和数据集，泛化能力不足。
  2. 提出BearLLM框架，利用先验知识增强的统一振动信号表征，结合大型语言模型处理多模态信息。
  3. 实验表明，BearLLM在多个故障诊断基准测试中达到SOTA，验证了其有效性和泛化性。

📝 摘要（中文）

本文提出了一种基于大型语言模型的轴承健康管理框架BearLLM。该框架是一种新型多模态模型，通过处理用户提示和振动信号，统一了多个轴承相关任务。具体而言，本文引入了一种先验知识增强的统一振动信号表征方法，以处理跨多个数据集的各种工况。这包括基于传感器采样率自适应地采样振动信号，结合频域信息以统一输入维度，并使用无故障参考信号作为辅助输入。为了从振动信号中提取特征，首先训练一个故障分类网络，然后将提取的特征转换并对齐到词嵌入中，最后将其与文本嵌入连接起来，作为LLM的输入。为了评估所提出方法的性能，构建了第一个大规模多模态轴承健康管理（MBHM）数据集，包括配对的振动信号和文本描述。通过统一的振动信号表征，BearLLM使用一组预训练权重在九个公开可用的故障诊断基准测试中实现了最先进的性能，优于为单个数据集设计的特定方法。我们提供数据集、模型和代码，以激发未来对构建更强大的工业多模态模型的研究。

🔬 方法详解

问题定义：现有轴承健康管理方法通常针对特定数据集和工况设计，缺乏跨数据集和工况的泛化能力。此外，如何有效地融合振动信号和文本描述等多模态信息也是一个挑战。

核心思路：本文的核心思路是利用大型语言模型（LLM）强大的语义理解和生成能力，结合统一的振动信号表征方法，将轴承健康管理问题转化为一个多模态的序列到序列问题。通过将振动信号特征转换为词嵌入，并与文本描述进行融合，LLM可以学习到更丰富的轴承健康状态表示。

技术框架：BearLLM框架主要包含以下几个模块：1) 振动信号预处理模块：根据传感器采样率自适应地采样振动信号，并结合频域信息统一输入维度。2) 特征提取模块：训练一个故障分类网络，提取振动信号的特征。3) 特征转换与对齐模块：将提取的振动信号特征转换为词嵌入，并与文本描述的词嵌入进行对齐。4) LLM模块：将融合后的多模态嵌入输入到LLM中，进行轴承健康状态的预测或诊断。

关键创新：本文的关键创新在于提出了先验知识增强的统一振动信号表征方法。该方法能够有效地处理不同采样率和工况下的振动信号，并将其转换为与文本描述对齐的词嵌入。此外，本文还构建了一个大规模多模态轴承健康管理数据集（MBHM），为多模态轴承健康管理研究提供了数据基础。

关键设计：在振动信号预处理阶段，采用了自适应采样策略，根据传感器采样率调整采样窗口大小。在特征提取阶段，使用了预训练的故障分类网络，并采用了迁移学习的方法进行微调。在特征转换与对齐阶段，使用了线性变换和余弦相似度损失函数，以保证振动信号特征和文本描述的语义一致性。LLM采用了Transformer架构，并使用了交叉熵损失函数进行训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BearLLM在九个公开可用的故障诊断基准测试中实现了最先进的性能，超越了针对特定数据集设计的专门方法。这证明了该框架的泛化能力和有效性。此外，构建的大规模多模态轴承健康管理数据集（MBHM）为未来的研究提供了宝贵资源。

🎯 应用场景

BearLLM框架可应用于各种工业场景中的轴承健康管理，例如风力发电机、高速列车、航空发动机等。通过实时监测轴承的振动信号并结合文本描述，可以实现对轴承故障的早期预警和诊断，从而降低设备维护成本，提高生产效率，保障设备安全运行。该研究为工业多模态模型的构建提供了新的思路。

📄 摘要（原文）

We propose a bearing health management framework leveraging large language models (BearLLM), a novel multimodal model that unifies multiple bearing-related tasks by processing user prompts and vibration signals. Specifically, we introduce a prior knowledge-enhanced unified vibration signal representation to handle various working conditions across multiple datasets. This involves adaptively sampling the vibration signals based on the sampling rate of the sensor, incorporating the frequency domain to unify input dimensions, and using a fault-free reference signal as an auxiliary input. To extract features from vibration signals, we first train a fault classification network, then convert and align the extracted features into word embedding, and finally concatenate these with text embedding as input to an LLM. To evaluate the performance of the proposed method, we constructed the first large-scale multimodal bearing health management (MBHM) dataset, including paired vibration signals and textual descriptions. With our unified vibration signal representation, BearLLM using one set of pre-trained weights achieves state-of-the-art performance on nine publicly available fault diagnosis benchmarks, outperforming specific methods designed for individual datasets. We provide a dataset, our model, and code to inspire future research on building more capable industrial multimodal models https://github.com/SIA-IDE/BearLLM.