IPM-FM: A Foundation Model with Consensus Feature Selection for Industrial Process Monitoring

📄 arXiv: 2609.08375v1 📥 PDF

作者: Liang Cao, Weide Liu, Yan Qin, Jun Cheng, Weisi Lin, Bhushan Gopaluni

分类: cs.LG, cs.AI

发布日期: 2026-09-08

💡 一句话要点

提出IPM-FM以解决工业过程监测中的标签效率低下问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 工业过程监测 基础模型 自监督学习 特征选择 不确定性预测

📋 核心要点

  1. 当前工业过程监测方法存在标签效率低和在操作漂移下性能退化的问题。
  2. 本文提出的IPM-FM模型通过自监督学习和少量标记数据适应特定任务，提升了监测效果。
  3. 在柴油闪点软传感器数据集上，IPM-FM的RMSE为2.99，显著优于传统基线，证明了其有效性。

📝 摘要（中文）

工业过程监测对现代工厂的安全和经济性能至关重要。当前的实践仍然是单任务单模型的范式，标签效率低且在操作漂移下容易退化。基础模型已在语言、视觉和通用时间序列预测中取得了突破，但尚未适用于工业过程监测。本文提出工业过程监测基础模型（IPM-FM），通过自监督预训练从未标记的工业过程数据中学习通用表示，再利用少量任务标记数据适应特定监测任务，最后通过不确定性感知预测头生成校准预测。IPM-FM结合了自监督Informer主干、多标准共识特征选择器、递归滞后特征回归头和校准的蒙特卡洛 dropout 不确定性模块。在七年的柴油闪点软传感器数据集上，IPM-FM实现了2.99的RMSE和0.50的$R^2$，其95%预测区间的覆盖率达到97%，在RMSE上分别比最强的经典和从头开始的序列基线提升了8.3%和14.6%。

🔬 方法详解

问题定义：工业过程监测面临标签效率低下和操作漂移导致的性能退化等挑战。现有方法通常依赖于单一任务模型，难以适应多变的工业环境。

核心思路：IPM-FM通过自监督预训练从未标记数据中学习通用特征，再利用少量标记数据进行任务适应，最后通过不确定性感知模块生成可靠预测。这样的设计旨在提高模型的通用性和适应性。

技术框架：IPM-FM的整体架构包括自监督Informer主干、共识特征选择器、递归滞后特征回归头和蒙特卡洛 dropout 不确定性模块。首先进行自监督预训练，然后进行任务特定的微调，最后输出校准的预测结果。

关键创新：IPM-FM的创新在于将自监督学习与多标准特征选择相结合，形成了一种新的预训练-适应框架，能够有效应对工业过程监测中的特定挑战。

关键设计：模型采用了多标准共识特征选择器来优化输入特征，使用递归滞后特征回归头来捕捉时间序列特征，同时通过蒙特卡洛 dropout 模块来评估预测的不确定性，确保输出的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在七年的柴油闪点软传感器数据集上，IPM-FM实现了2.99的RMSE和0.50的$R^2$，其95%预测区间的覆盖率达到97%。与传统基线相比，IPM-FM在RMSE上分别提升了8.3%和14.6%，显示出其在工业过程监测中的优越性能。

🎯 应用场景

该研究的潜在应用领域包括石油化工、制造业和其他需要实时监测和预测的工业过程。通过提高监测的准确性和可靠性，IPM-FM能够帮助企业优化生产流程，降低安全风险，并提升经济效益。未来，该模型的框架可能被扩展到其他领域的监测任务中。

📄 摘要（原文）

Industrial process monitoring is fundamental to the safety and economic performance of modern process plants. Current practice remains a one-task-one-model paradigm that is label-inefficient and prone to degradation under operating drift. Foundation models have reshaped language, vision, and generic time-series forecasting, but it has not been adapted to industrial process monitoring. This setting poses domain-specific challenges, including safety-critical decisions and asymmetric sampling between process variables and laboratory measurements. We propose the industrial process monitoring foundation model (IPM-FM). It first learns general-purpose representations from unlabeled industrial process data through self-supervised pretraining, then adapts to specific monitoring tasks using a small amount of task-labeled data, and finally produces calibrated predictions through an uncertainty-aware prediction head. IPM-FM integrates a self-supervised Informer backbone with a multi-criteria consensus feature selector, a recursive lag-feature regression head, and a calibrated Monte Carlo dropout uncertainty module. On a seven-year hydrotreater dataset for diesel flash-point soft sensing, IPM-FM attains an RMSE of 2.99, $R^2$ of 0.50, and 97\% coverage of its 95\% predictive interval, outperforming the strongest classical and from-scratch sequence baselines by 8.3\% and 14.6\% in RMSE respectively, supporting the viability of a unified pretraining--adaptation framework for industrial process monitoring.