Temporal and Heterogeneous Graph Neural Network for Remaining Useful Life Prediction

📄 arXiv: 2405.04336v3 📥 PDF

作者: Zhihao Wen, Yuan Fang, Pengcheng Wei, Fayao Liu, Zhenghua Chen, Min Wu

分类: cs.AI

发布日期: 2024-05-07 (更新: 2025-08-06)

备注: 14 pages

💡 一句话要点

提出THGNN模型，利用时序异构图神经网络预测剩余使用寿命

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 剩余使用寿命预测 时序图神经网络 异构图神经网络 深度学习 预测性维护

📋 核心要点

  1. 现有方法在预测剩余使用寿命时，通常以粗粒度方式处理时序图，导致时间信息丢失，且未能充分利用传感器异构性。
  2. THGNN模型通过聚合相邻节点的历史数据，细粒度地捕捉传感器数据流中的时序动态和空间相关性，并利用FiLM解决传感器异构性问题。
  3. 在N-CMAPSS数据集上的实验表明，THGNN模型在RUL预测任务中，相较于现有方法，性能提升高达19.2%和31.6%。

📝 摘要（中文）

剩余使用寿命（RUL）预测在工业系统的预测与健康管理中至关重要，这些系统涉及各种相互关联的传感器。针对来自此类系统的连续时间序列传感器数据流，深度学习模型在识别这些数据中复杂的非线性时间依赖性方面表现突出。除了单个传感器的时间依赖性之外，空间依赖性也成为这些传感器之间重要的相关性，可以用描述时变空间关系的时序图自然地建模。然而，现有研究大多依赖于捕获这种时序图的离散快照，这种粗粒度的方法会导致时间信息的丢失。此外，考虑到异构传感器的多样性，利用这种固有的异构性对于时序传感器图中RUL预测至关重要。为了捕捉互连传感器图中时间和空间关系以及异构特征的细微差别，我们提出了一种名为时序异构图神经网络（THGNN）的新模型。具体来说，THGNN聚合来自相邻节点的历史数据，以细粒度的方式准确捕获传感器数据流中的时间动态和空间相关性。此外，该模型利用特征线性调制（FiLM）来解决传感器类型的多样性，从而显著提高模型学习数据源异构性的能力。最后，我们通过全面的实验验证了我们方法的有效性。我们的实验结果表明，在N-CMAPSS数据集上取得了显著的进步，在两个不同的评估指标上，相对于最先进的方法，分别提高了高达19.2%和31.6%。

🔬 方法详解

问题定义：论文旨在解决工业系统中剩余使用寿命（RUL）的精确预测问题。现有方法主要痛点在于：1）对时序图的处理过于粗糙，仅捕捉离散快照，忽略了时间信息的连续性；2）未能充分利用传感器数据的异构性，即不同类型传感器具有不同的特性和贡献。

核心思路：论文的核心思路是构建一个时序异构图神经网络（THGNN），同时考虑传感器之间时变的空间关系和不同传感器的异构特性。通过细粒度地聚合邻居节点的历史信息，捕捉时序动态和空间相关性。利用特征线性调制（FiLM）机制，解决传感器异构性问题，提升模型对不同类型传感器数据的学习能力。

技术框架：THGNN的整体框架包含以下几个主要模块：1）时序图构建：根据传感器之间的关系构建时序图，节点代表传感器，边代表传感器之间的关系，边的权重随时间变化。2）图神经网络层：使用图神经网络（GNN）聚合邻居节点的信息，捕捉空间相关性。3）时序建模层：使用循环神经网络（RNN）或Transformer等模型，捕捉传感器数据的时间依赖性。4）特征线性调制（FiLM）层：根据传感器类型，对GNN和时序建模层的输出进行调制，以解决传感器异构性问题。5）RUL预测层：使用全连接层或回归模型，根据前面的特征表示预测RUL。

关键创新：论文的关键创新在于：1）时序图建模：将传感器之间的关系建模为时序图，能够更准确地捕捉传感器之间的动态关系。2）异构图神经网络：利用FiLM机制，有效地解决了传感器异构性问题，提升了模型的学习能力。3）细粒度时序建模：通过聚合邻居节点的历史信息，细粒度地捕捉时序动态和空间相关性。

关键设计：1）FiLM层设计：FiLM层根据传感器类型，生成调制参数，对GNN和时序建模层的输出进行仿射变换。2）损失函数设计：使用均方误差（MSE）或Huber损失等回归损失函数，优化RUL预测结果。3）图神经网络选择：可以选择GCN、GAT等不同的图神经网络，根据具体任务进行调整。4）时序建模方法选择：可以选择LSTM、GRU或Transformer等不同的时序模型，根据数据特点进行选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，THGNN模型在N-CMAPSS数据集上取得了显著的性能提升。与现有最先进的方法相比，在RMSE指标上提升了19.2%，在评分指标上提升了31.6%。这些结果验证了THGNN模型在RUL预测任务中的有效性和优越性，尤其是在处理时序和异构传感器数据方面。

🎯 应用场景

该研究成果可广泛应用于工业设备的预测性维护、智能制造、航空航天等领域。通过准确预测设备的剩余使用寿命，可以有效降低维护成本，提高设备利用率，避免因设备故障造成的安全事故和经济损失。未来，该方法可以扩展到更复杂的工业系统，并与其他传感器数据融合，实现更精准的健康管理。

📄 摘要（原文）

Predicting Remaining Useful Life (RUL) plays a crucial role in the prognostics and health management of industrial systems that involve a variety of interrelated sensors. Given a constant stream of time series sensory data from such systems, deep learning models have risen to prominence at identifying complex, nonlinear temporal dependencies in these data. In addition to the temporal dependencies of individual sensors, spatial dependencies emerge as important correlations among these sensors, which can be naturally modelled by a temporal graph that describes time-varying spatial relationships. However, the majority of existing studies have relied on capturing discrete snapshots of this temporal graph, a coarse-grained approach that leads to loss of temporal information. Moreover, given the variety of heterogeneous sensors, it becomes vital that such inherent heterogeneity is leveraged for RUL prediction in temporal sensor graphs. To capture the nuances of the temporal and spatial relationships and heterogeneous characteristics in an interconnected graph of sensors, we introduce a novel model named Temporal and Heterogeneous Graph Neural Networks (THGNN). Specifically, THGNN aggregates historical data from neighboring nodes to accurately capture the temporal dynamics and spatial correlations within the stream of sensor data in a fine-grained manner. Moreover, the model leverages Feature-wise Linear Modulation (FiLM) to address the diversity of sensor types, significantly improving the model's capacity to learn the heterogeneity in the data sources. Finally, we have validated the effectiveness of our approach through comprehensive experiments. Our empirical findings demonstrate significant advancements on the N-CMAPSS dataset, achieving improvements of up to 19.2% and 31.6% in terms of two different evaluation metrics over state-of-the-art methods.