Temporal Cross-Modal Knowledge-Distillation-Based Transfer-Learning for Gas Turbine Vibration Fault Detection

📄 arXiv: 2604.14766v1 📥 PDF

作者: Ali Bagheri Nejad, Mahdi Aliyari-Shoorehdeli, Abolfazl Hasanzadeh

分类: eess.SP, cs.AI

发布日期: 2026-04-16

💡 一句话要点

提出时序跨模态知识蒸馏迁移学习框架，用于燃气轮机振动故障检测。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 燃气轮机 故障检测 知识蒸馏 迁移学习 时序建模 工业应用 振动信号

📋 核心要点

  1. 现有基于深度学习的故障检测模型在架构复杂性和实时性之间存在权衡，且缺乏对振动信号时序上下文的利用。
  2. 提出TCMKDTL框架，通过知识蒸馏将具有时序上下文信息的教师模型知识迁移到紧凑的学生模型，提升检测性能。
  3. 在实验和工业燃气轮机数据集上的评估表明，TCMKDTL在特征可分离性和诊断准确性方面优于传统预训练架构。

📝 摘要（中文）

本研究提出了一种时序跨模态知识蒸馏迁移学习(TCMKDTL)框架，旨在解决燃气轮机等关键资产的早期故障检测问题。该框架利用在包含过去和未来信号上下文的扩展时序窗口上训练的“特权”教师模型，将潜在的基于特征的知识提炼到紧凑的学生模型中。为了缓解数据稀缺和领域偏移问题，该框架利用在基准数据集（如CWRU）上的鲁棒预训练，然后适应目标工业数据。使用实验和工业燃气轮机（MGT-40）数据集进行的大量评估表明，与传统的预训练架构相比，TCMKDTL实现了卓越的特征可分离性和诊断准确性。最终，这种方法实现了高性能、无监督的异常检测，适合部署在资源受限的工业硬件上。

🔬 方法详解

问题定义：论文旨在解决燃气轮机振动故障检测中，现有深度学习模型复杂度高、实时性差，且难以有效利用时序上下文信息的问题。现有方法通常依赖于有限的振动信号窗口，忽略了信号的过去和未来信息，导致检测精度受限。此外，工业数据稀缺和领域偏移也限制了模型的泛化能力。

核心思路：论文的核心思路是利用知识蒸馏，将一个在包含丰富时序信息的“特权”教师模型中学习到的知识迁移到一个更小、更高效的学生模型中。教师模型能够访问更长的时序窗口，从而学习到更全面的时序特征。通过知识蒸馏，学生模型可以在保持较低复杂度的同时，获得教师模型的时序感知能力。

技术框架：TCMKDTL框架包含以下几个主要阶段：1) 教师模型训练：使用包含过去和未来信息的扩展时序窗口训练教师模型。2) 学生模型构建：构建一个结构更紧凑的学生模型。3) 知识蒸馏：利用教师模型的输出作为指导，训练学生模型，使其学习教师模型的潜在特征表示。4) 迁移学习：在基准数据集上进行预训练，然后将模型迁移到目标工业数据集上进行微调。

关键创新：论文的关键创新在于提出了时序跨模态知识蒸馏迁移学习框架，将时序信息、知识蒸馏和迁移学习相结合，有效地解决了工业故障检测中数据稀缺、领域偏移和实时性要求高等问题。与传统方法相比，TCMKDTL能够更好地利用时序上下文信息，提高故障检测的准确性和效率。

关键设计：教师模型采用能够处理长时序数据的网络结构（具体结构未知）。知识蒸馏过程中，可能使用了基于特征的蒸馏方法，即最小化教师模型和学生模型中间层特征表示的差异。迁移学习阶段，可能使用了微调策略，即在目标数据集上对预训练模型进行少量迭代的训练。损失函数的设计可能包括分类损失和蒸馏损失的加权组合。

📊 实验亮点

论文在实验和工业燃气轮机（MGT-40）数据集上进行了评估，结果表明TCMKDTL框架在特征可分离性和诊断准确性方面优于传统的预训练架构。具体的性能提升数据未知，但摘要强调了其“卓越的特征可分离性和诊断准确性”，表明该方法具有显著的优势。

🎯 应用场景

该研究成果可应用于各种工业场景下的设备故障预测与健康管理(PHM)，尤其适用于对实时性要求较高的关键设备，如燃气轮机、风力发电机、航空发动机等。通过早期故障检测，可以有效降低设备维护成本，提高生产效率，保障工业安全，具有重要的经济和社会价值。

📄 摘要（原文）

Preventing machine failure is inherently superior to reactive remediation, particularly for critical assets like gas turbines, where early fault detection (FD) is a cornerstone of industrial sustainability. However, modern deep learning-based FD models often face a significant trade-off between architectural complexity and real-time operational constraints, often hindered by a lack of temporal context within restricted vibration signal windows. To address these challenges, this study proposes a Temporal Cross-Modal Knowledge-Distillation Transfer-Learning (TCMKDTL) framework. The framework employs a "privileged" teacher model trained on expansive temporal windows incorporating both past and future signal context to distill latent feature-based knowledge into a compact student model. To mitigate issues of data scarcity and domain shift, the framework leverages robust pre-training on benchmark datasets (such as CWRU) followed by adaptation to target industrial data. Extensive evaluation using experimental and industrial gas turbine (MGT-40) datasets demonstrates that TCMKDTL achieves superior feature separability and diagnostic accuracy compared to conventional pre-trained architectures. Ultimately, this approach enables high-performance, unsupervised anomaly detection suitable for deployment on resource-constrained industrial hardware.