Interpretable Prognostics with Concept Bottleneck Models

📄 arXiv: 2405.17575v1 📥 PDF

作者: Florent Forest, Katharina Rombach, Olga Fink

分类: cs.LG, eess.SP, stat.ML

发布日期: 2024-05-27

备注: Under review

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于概念瓶颈模型的可解释剩余寿命预测方法，提升工业资产预测可信度。

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 剩余寿命预测 可解释人工智能 概念瓶颈模型 工业资产预测 深度学习

📋 核心要点

  1. 深度学习预测模型缺乏可解释性，难以在安全攸关的应用中部署，信任度不足。
  2. 利用概念瓶颈模型（CBMs），将资产退化模式作为中间概念，实现本质上可解释的剩余寿命预测。
  3. 在N-CMAPSS数据集上，CBMs在性能上可与黑盒模型媲美甚至更优，同时显著提升了模型的可解释性。

📝 摘要（中文）

深度学习方法在工业资产预测领域得到了广泛应用，但其缺乏可解释性，限制了其在安全关键型应用中的部署。为了提高其可信度，可解释人工智能（XAI）技术被应用于预测领域，主要通过事后归因方法量化输入变量对剩余使用寿命（RUL）预测的重要性。本文提出将概念瓶颈模型（CBMs）应用于RUL预测任务，CBMs是一类基于概念解释的、本质上可解释的神经网络架构。与使用低级输入特征解释决策的归因方法不同，概念代表了用户易于理解的高级信息。此外，一旦在实际应用中得到验证，CBMs使领域专家能够在测试时干预概念激活。我们建议使用资产的不同退化模式作为中间概念。在用于RUL预测的New Commercial Modular AeroPropulsion System Simulation (N-CMAPSS) 飞机发动机数据集上的案例研究表明，即使在可用的标记概念有限的情况下，CBMs的性能可以与黑盒模型相媲美甚至优于黑盒模型，同时更具可解释性。

🔬 方法详解

问题定义：现有深度学习剩余寿命预测模型缺乏可解释性，难以理解模型决策过程，导致在安全攸关的工业应用中难以信任和部署。传统的后验可解释性方法（如归因方法）通常基于低层次的输入特征进行解释，难以被领域专家理解和利用。

核心思路：利用概念瓶颈模型（CBMs），将领域专家知识融入模型中，通过中间“概念”层来连接输入和输出。这些“概念”代表了易于理解的高层次信息，例如设备的退化模式。通过这种方式，模型不仅可以进行预测，还可以解释其预测是基于哪些概念做出的。

技术框架：该方法的核心是构建一个概念瓶颈模型。该模型包含三个主要部分：1) 输入编码器，将原始输入数据映射到概念空间；2) 概念瓶颈层，强制模型学习和使用预定义的“概念”；3) 输出解码器，基于概念层的激活值进行RUL预测。整个流程可以概括为：输入数据 -> 编码器 -> 概念层 -> 解码器 -> RUL预测。

关键创新：该方法的核心创新在于将概念瓶颈模型应用于剩余寿命预测，并利用领域知识定义中间概念。与传统的黑盒模型相比，CBMs具有内在的可解释性，可以直接解释预测结果背后的原因。与后验可解释性方法相比，CBMs在模型设计阶段就考虑了可解释性，避免了对黑盒模型进行事后解释的局限性。

关键设计：论文中，资产的退化模式被选为中间概念。损失函数的设计需要考虑两个方面：RUL预测的准确性和概念预测的准确性。具体的网络结构（编码器和解码器的选择）可以根据具体应用场景进行调整。论文中使用了N-CMAPSS数据集，因此需要针对该数据集的特点进行网络结构和参数的调整。

📊 实验亮点

在N-CMAPSS飞机发动机数据集上的实验结果表明，所提出的基于概念瓶颈模型的RUL预测方法在性能上可以与黑盒模型相媲美甚至更优。更重要的是，该方法显著提高了模型的可解释性，使得领域专家能够理解模型的决策过程，并进行干预。即使在标记的概念数据有限的情况下，该方法仍然能够取得良好的性能。

🎯 应用场景

该研究成果可应用于航空发动机、工业机器人、电力设备等关键工业资产的健康管理和故障预测。通过提供可解释的预测结果，帮助领域专家更好地理解设备状态，制定合理的维护策略，降低运营成本，提高设备的安全性和可靠性。未来，该方法可以推广到其他需要高可信度和可解释性的预测任务中。

📄 摘要（原文）

Deep learning approaches have recently been extensively explored for the prognostics of industrial assets. However, they still suffer from a lack of interpretability, which hinders their adoption in safety-critical applications. To improve their trustworthiness, explainable AI (XAI) techniques have been applied in prognostics, primarily to quantify the importance of input variables for predicting the remaining useful life (RUL) using post-hoc attribution methods. In this work, we propose the application of Concept Bottleneck Models (CBMs), a family of inherently interpretable neural network architectures based on concept explanations, to the task of RUL prediction. Unlike attribution methods, which explain decisions in terms of low-level input features, concepts represent high-level information that is easily understandable by users. Moreover, once verified in actual applications, CBMs enable domain experts to intervene on the concept activations at test-time. We propose using the different degradation modes of an asset as intermediate concepts. Our case studies on the New Commercial Modular AeroPropulsion System Simulation (N-CMAPSS) aircraft engine dataset for RUL prediction demonstrate that the performance of CBMs can be on par or superior to black-box models, while being more interpretable, even when the available labeled concepts are limited. Code available at \href{https://github.com/EPFL-IMOS/concept-prognostics/}{\url{github.com/EPFL-IMOS/concept-prognostics/}}.