A Text-Based Knowledge-Embedded Soft Sensing Modeling Approach for General Industrial Process Tasks Based on Large Language Model

📄 arXiv: 2501.05075v1 📥 PDF

作者: Shuo Tong, Han Liu, Runyuan Guo, Xueqiong Tian, Wenqing Wang, Ding Liu, Youmin Zhang

分类: cs.AI, cs.LG

发布日期: 2025-01-09

💡 一句话要点

提出LLM-TKESS框架，利用大语言模型解决工业过程软测量建模的通用性和小样本问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 软测量 大语言模型 知识嵌入 工业过程 少样本学习

📋 核心要点

  1. 传统数据驱动软测量方法依赖定制设计，成本高昂，且难以泛化到不同工业任务。
  2. LLM-TKESS框架利用大语言模型的通用能力，通过辅助变量编码器和两阶段微调策略，实现高效的软测量建模。
  3. 实验表明，LLM-TKESS在小样本条件下表现出卓越的预测能力，验证了其有效性。

📝 摘要（中文）

数据驱动的软测量(DDSS)已成为过程工业中预测关键性能指标的主流方法。然而，DDSS的开发需要复杂且昂贵的定制设计，以适应建模过程中的各种任务。此外，DDSS仅限于单一的结构化数据模式，限制了其整合额外上下文知识的能力。而且，DDSS有限的表征学习能力导致在数据稀缺的情况下预测性能较弱。为了解决这些挑战，我们提出了一个名为LLM-TKESS(用于基于文本的知识嵌入软测量的大语言模型)的通用框架，利用LLM强大的通用问题解决能力、跨模态知识迁移能力和少样本能力来增强软测量建模。具体来说，我们提出了一个辅助变量序列编码器(AVS Encoder)，以释放LLM捕获序列中的时间关系和辅助变量之间的空间语义关系的能力。然后，我们提出了一种两阶段微调对齐策略：第一阶段，通过自回归训练采用参数高效的微调，使LLM能够快速适应过程变量数据，从而产生软测量基础模型(SSFM)。随后，通过训练适配器，我们将SSFM调整到各种下游任务，而无需修改其架构。然后，我们提出了两种基于文本的知识嵌入软传感器，整合了新的自然语言模态，以克服纯结构化数据模型的局限性。此外，受益于LLM预先存在的世界知识，我们的模型在小样本条件下表现出出色的预测能力。以空气预热器转子的热变形为例，我们通过大量实验验证了LLM-TKESS表现出卓越的性能。

🔬 方法详解

问题定义：现有数据驱动的软测量方法(DDSS)在工业过程中存在通用性差、依赖大量数据的问题。针对不同任务需要定制化设计，成本高昂且效率低下。此外，传统DDSS模型难以有效利用除结构化数据外的其他信息，例如工艺描述等文本知识，限制了其性能。在数据稀缺的情况下，DDSS模型的预测精度显著下降。

核心思路：论文的核心思路是利用大型语言模型(LLM)强大的通用问题解决能力、跨模态知识迁移能力和少样本学习能力，构建一个通用的、知识增强的软测量框架。通过将过程数据和文本知识嵌入到LLM中，提升模型对过程理解和预测能力，从而解决传统DDSS方法的局限性。

技术框架：LLM-TKESS框架主要包含以下几个模块：1) 辅助变量序列编码器(AVS Encoder)：用于提取过程变量的时间和空间关系特征。2) 软测量基础模型(SSFM)：通过两阶段微调策略，使LLM适应过程变量数据。第一阶段是参数高效的自回归训练，第二阶段是训练适配器以适应下游任务。3) 基于文本的知识嵌入软传感器：将自然语言形式的工艺知识融入模型，增强模型的理解能力。

关键创新：该论文的关键创新在于：1) 提出了基于LLM的通用软测量框架，摆脱了传统DDSS方法对定制化设计的依赖。2) 设计了AVS Encoder，有效提取过程变量的时空特征。3) 提出了两阶段微调策略，使LLM能够快速适应过程数据，并迁移到不同的下游任务。4) 提出了基于文本的知识嵌入方法，将自然语言形式的工艺知识融入模型，提升了模型的预测精度。

关键设计：AVS Encoder的具体结构未知，但其目标是捕捉时间序列数据中的时间依赖关系以及不同辅助变量之间的空间语义关系。两阶段微调策略中，第一阶段采用参数高效的微调方法，例如Adapter Tuning或LoRA，以减少计算成本。第二阶段训练Adapter来适应下游任务，避免修改LLM的原始参数。损失函数可能包括预测误差损失和知识对齐损失，以确保模型能够准确预测过程变量，并有效利用文本知识。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LLM-TKESS在空气预热器转子热变形预测任务中表现出卓越的性能。具体数据未知，但论文强调该模型在小样本条件下仍能保持较高的预测精度，优于传统的DDSS方法。这验证了LLM-TKESS框架的有效性和优越性。

🎯 应用场景

该研究成果可广泛应用于各种工业过程的软测量建模，例如化工、冶金、电力等领域。通过利用LLM的通用性和知识迁移能力，可以降低软测量模型的开发成本，提高模型的预测精度，尤其是在数据稀缺的情况下。该方法还有助于实现工业过程的智能化监控和优化控制，提升生产效率和产品质量。

📄 摘要（原文）

Data-driven soft sensors (DDSS) have become mainstream methods for predicting key performance indicators in process industries. However, DDSS development requires complex and costly customized designs tailored to various tasks during the modeling process. Moreover, DDSS are constrained to a single structured data modality, limiting their ability to incorporate additional contextual knowledge. Furthermore, DDSSs' limited representation learning leads to weak predictive performance with scarce data. To address these challenges, we propose a general framework named LLM-TKESS (large language model for text-based knowledge-embedded soft sensing), harnessing the powerful general problem-solving capabilities, cross-modal knowledge transfer abilities, and few-shot capabilities of LLM for enhanced soft sensing modeling. Specifically, an auxiliary variable series encoder (AVS Encoder) is proposed to unleash LLM's potential for capturing temporal relationships within series and spatial semantic relationships among auxiliary variables. Then, we propose a two-stage fine-tuning alignment strategy: in the first stage, employing parameter-efficient fine-tuning through autoregressive training adjusts LLM to rapidly accommodate process variable data, resulting in a soft sensing foundation model (SSFM). Subsequently, by training adapters, we adapt the SSFM to various downstream tasks without modifying its architecture. Then, we propose two text-based knowledge-embedded soft sensors, integrating new natural language modalities to overcome the limitations of pure structured data models. Furthermore, benefiting from LLM's pre-existing world knowledge, our model demonstrates outstanding predictive capabilities in small sample conditions. Using the thermal deformation of air preheater rotor as a case study, we validate through extensive experiments that LLM-TKESS exhibits outstanding performance.