RmGPT: A Foundation Model with Generative Pre-trained Transformer for Fault Diagnosis and Prognosis in Rotating Machinery
作者: Yilin Wang, Yifei Yu, Kong Sun, Peixuan Lei, Yuxuan Zhang, Enrico Zio, Aiguo Xia, Yuanxiang Li
分类: cs.LG
发布日期: 2024-09-26 (更新: 2025-06-12)
备注: This paper has been accepted for publication in the IEEE Internet of Things Journal (IoT-J). The final version may differ slightly due to editorial revisions. Please cite the journal version when available
🔗 代码/项目: GITHUB
💡 一句话要点
RmGPT：用于旋转机械故障诊断与预测的生成式预训练Transformer基础模型
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 旋转机械 故障诊断 预测性维护 预训练模型 Transformer 提示学习 自监督学习
📋 核心要点
- 现有PHM方法依赖于特定任务模型，难以处理具有不同信号特征、故障模式和工况的多样化数据集。
- RmGPT提出了一种统一的生成式token框架，通过信号、提示、任务和故障Token处理异构数据，并采用自监督学习和提示学习。
- 实验表明RmGPT显著优于现有算法，在诊断和预测任务中均表现出色，尤其在少样本学习中展现了强大的适应性。
📝 摘要（中文）
本文提出了一种用于旋转机械故障诊断与预测的统一模型RmGPT。该模型采用一种新颖的基于生成式token的框架，整合了信号Token、提示Token、时频任务Token和故障Token，以在统一的模型架构中处理异构数据。RmGPT利用自监督学习进行鲁棒的特征提取，并引入了下一个信号token预测的预训练策略，以及用于特定任务自适应的高效提示学习。大量实验表明，RmGPT显著优于最先进的算法，在诊断任务中实现了接近完美的准确率，在预测任务中实现了极低的误差。值得注意的是，RmGPT在少样本学习场景中表现出色，在16类单样本实验中达到了82%的准确率，突显了其适应性和鲁棒性。这项工作将RmGPT确立为旋转机械领域强大的PHM基础模型，提升了PHM解决方案的可扩展性和泛化性。
🔬 方法详解
问题定义：旋转机械的可靠性对于工业生产效率和安全至关重要。现有的故障诊断与预测（PHM）方法通常依赖于针对特定任务训练的模型，这些模型难以泛化到具有不同信号特征、故障模式和运行条件的多样化数据集上。此外，针对每种特定场景都需要重新训练模型，成本高昂。
核心思路：RmGPT的核心思路是借鉴自然语言处理中预训练语言模型的成功经验，构建一个通用的、可适应的旋转机械PHM基础模型。通过在大规模数据集上进行预训练，模型能够学习到通用的信号特征表示，然后通过少量的任务特定数据进行微调或提示学习，即可快速适应新的诊断和预测任务。
技术框架：RmGPT的整体架构基于Transformer模型，并引入了token化的数据表示方法。主要包括以下几个模块：1) 信号Token化：将原始振动信号转换为一系列信号Token，捕捉信号的时域和频域特征。2) 提示Token：用于引导模型执行特定任务，例如诊断或预测。3) 时频任务Token：指示模型需要关注的时频域信息。4) 故障Token：表示不同的故障类型。模型通过自监督学习的方式，预测下一个信号Token，从而学习到信号的内在结构和模式。在特定任务上，通过提示学习的方式，将任务信息融入到模型中，实现快速的适应。
关键创新：RmGPT的关键创新在于其统一的token化框架和预训练策略。传统的PHM方法通常需要针对不同的信号类型和故障模式设计不同的特征提取器和分类器。RmGPT通过将所有数据转换为token序列，并使用Transformer模型进行处理，实现了对异构数据的统一建模。此外，RmGPT的下一个信号token预测预训练策略，能够有效地学习到信号的内在结构和模式，从而提高了模型的泛化能力。
关键设计：RmGPT的关键设计包括：1) Token化方法：采用了滑动窗口和傅里叶变换相结合的方式，将原始振动信号转换为信号Token。2) 提示学习：使用可学习的提示Token，通过反向传播的方式，优化提示Token的表示，从而引导模型执行特定任务。3) 损失函数：预训练阶段使用交叉熵损失函数，用于预测下一个信号Token。微调阶段使用交叉熵损失函数或均方误差损失函数，取决于具体的任务类型。
🖼️ 关键图片
📊 实验亮点
RmGPT在多个旋转机械数据集上进行了评估，结果表明其性能显著优于现有算法。在诊断任务中，RmGPT实现了接近完美的准确率。在预测任务中，RmGPT的预测误差显著低于现有算法。特别是在少样本学习场景中，RmGPT在16类单样本实验中达到了82%的准确率，展示了其强大的泛化能力。代码已开源。
🎯 应用场景
RmGPT可广泛应用于各种旋转机械的故障诊断与预测，例如风力发电机、航空发动机、工业机器人等。该模型能够提高设备的可靠性和安全性，降低维护成本，并优化生产效率。未来，RmGPT有望成为工业物联网和智能制造领域的重要组成部分，为实现设备的智能化运维提供有力支持。
📄 摘要（原文）
In industry, the reliability of rotating machinery is critical for production efficiency and safety. Current methods of Prognostics and Health Management (PHM) often rely on task-specific models, which face significant challenges in handling diverse datasets with varying signal characteristics, fault modes and operating conditions. Inspired by advancements in generative pretrained models, we propose RmGPT, a unified model for diagnosis and prognosis tasks. RmGPT introduces a novel generative token-based framework, incorporating Signal Tokens, Prompt Tokens, Time-Frequency Task Tokens and Fault Tokens to handle heterogeneous data within a unified model architecture. We leverage self-supervised learning for robust feature extraction and introduce a next signal token prediction pretraining strategy, alongside efficient prompt learning for task-specific adaptation. Extensive experiments demonstrate that RmGPT significantly outperforms state-of-the-art algorithms, achieving near-perfect accuracy in diagnosis tasks and exceptionally low errors in prognosis tasks. Notably, RmGPT excels in few-shot learning scenarios, achieving 82\% accuracy in 16-class one-shot experiments, highlighting its adaptability and robustness. This work establishes RmGPT as a powerful PHM foundation model for rotating machinery, advancing the scalability and generalizability of PHM solutions. \textbf{Code is available at: https://github.com/Pandalin98/RmGPT.