FreqCondNorm: Towards Cross-domain Predictive Maintenance through a Frequency-Conditioned Transformer Foundation Model

📄 arXiv: 2609.20535v1 📥 PDF

作者: Zaynab Raounak, Camille LHermine, Zhiguo Zeng

分类: cs.AI

发布日期: 2026-09-17

💡 一句话要点

提出FreqCondNorm以解决跨域预测维护中的数据转移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预测维护 深度学习 Transformer 跨域学习 频率条件归一化 故障诊断 机器学习

📋 核心要点

  1. 现有深度学习预测维护模型在不同机器和操作条件下的转移能力不足，尤其在标注数据稀缺时表现不佳。
  2. 本文提出FreqCondNorm，通过引入频率条件归一化层，旨在统一处理异构时间序列数据，提升模型的跨域适应性。
  3. 实验结果显示，模型在CWRU数据集上达到了99.2%的准确率，相较于CNN提升了6.4个百分点，展示了良好的转移能力。

📝 摘要（中文）

深度学习预测维护模型在不同机器和操作条件下的转移能力较差，尤其在标注数据稀缺且信号采样频率跨度达五个数量级（1 Hz至约100 kHz）时。为此，本文提出FreqCondNorm，这是一种基于Transformer的架构，采用FiLM风格的频率条件归一化层，以统一异构时间序列。该架构在五个公共预测维护数据集（CWRU、MFPT、UOC18、PRONOSTIA、CMAPSS）上进行预训练，使用掩码自编码和对比学习，并采用平衡域采样。在故障诊断方面，该模型在CWRU数据集上达到了99.2%的准确率（比CNN提高6.4个百分点），在MFPT数据集上实现了82.1%的零-shot准确率，展示了在采样频率间的强转移能力。然而，该方法在剩余使用寿命预测上并未改善，表明预训练与RUL目标之间存在不匹配，值得未来进一步研究。

🔬 方法详解

问题定义：本文旨在解决深度学习预测维护模型在不同机器和操作条件下的转移能力不足的问题。现有方法在标注数据稀缺和信号频率跨度较大时，性能显著下降。

核心思路：FreqCondNorm的核心思路是通过引入频率条件归一化层，统一处理不同频率的时间序列数据，从而提升模型的跨域适应性和转移能力。

技术框架：该架构基于Transformer，包含频率条件归一化层、掩码自编码和对比学习模块。模型在多个公共数据集上进行预训练，以增强其泛化能力。

关键创新：最重要的技术创新在于引入FiLM风格的频率条件归一化层，使模型能够有效处理异构时间序列数据，这与传统方法的单一归一化策略有本质区别。

关键设计：在模型设计中，采用了平衡域采样策略进行预训练，使用掩码自编码和对比学习作为损失函数，确保模型在多样化数据集上的学习效果。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，FreqCondNorm模型在CWRU数据集上达到了99.2%的准确率，相较于传统CNN模型提升了6.4个百分点。此外，在MFPT数据集上实现了82.1%的零-shot准确率，展示了其在跨域转移学习中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括工业设备的预测维护、故障检测和智能制造等。通过提升模型在不同操作条件下的适应性，FreqCondNorm能够帮助企业降低维护成本，提高设备的可靠性和运行效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Deep learning predictive maintenance models suffer from poor transferability across machines and operating conditions, especially when labelled data are scarce and signals span five orders of magnitude in sampling frequency (1 Hz to ~100 kHz). We propose FreqCondNorm, a Transformer-based architecture that introduces a FiLM-style frequency-conditioned normalization layer to unify heterogeneous time-series within a single model. The architecture is pretrained on five public predictive maintenance datasets (CWRU, MFPT, UOC18, PRONOSTIA, CMAPSS) using masked auto-encoding and contrastive learning with balanced domain sampling. On fault diagnosis, the model achieves 99.2% accuracy on CWRU (+6.4 pp over CNN) and 82.1% zero-shot accuracy on MFPT, demonstrating strong transfer across sampling frequencies. However, the approach does not improve remaining useful life prediction, suggesting a mismatch between pretraining and RUL objectives that warrants future investigation.