HOFLON: Hybrid Offline Learning and Online Optimization for Process Start-Up and Grade-Transition Control
作者: Alex Durkin, Jasper Stolte, Mehmet Mercangöz
分类: cs.LG, eess.SY, stat.ML
发布日期: 2025-10-04
备注: 31 pages, 15 figures, submitted to Computers and Chemical Engineering
💡 一句话要点
提出HOFLON，结合离线学习与在线优化，提升流程启动和产品切换控制性能。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 离线强化学习 在线优化 流程控制 工业自动化 产品切换
📋 核心要点
- 传统流程启动和产品切换依赖人工经验，面临专家退休和知识传承的挑战。
- HOFLON结合离线学习历史数据和在线优化，克服了离线RL的分布偏移和价值高估问题。
- 实验表明，HOFLON在聚合反应器启动和造纸机产品切换中均优于IQL，并超越历史最佳表现。
📝 摘要（中文）
启动和产品切换是连续流程工厂运营的关键步骤，任何失误都会直接影响产品质量并导致运营损失。长期以来，这些转换依赖于少数专家操作员的手动操作，但该劳动力的逐渐退休使得工厂所有者缺乏一致执行这些操作所需的隐性知识。在缺乏过程模型的情况下，离线强化学习（RL）有望通过挖掘历史启动和切换日志来捕获甚至超越人类的专业知识，但标准的离线RL在学习策略超出数据范围时会遇到分布偏移和价值高估的问题。我们引入HOFLON（混合离线学习+在线优化）来克服这些限制。离线状态下，HOFLON学习（i）表示过去转换可行区域的潜在数据流形，以及（ii）预测状态-动作对的累积奖励的长期Q-critic。在线状态下，它解决了一个单步优化问题，该问题在惩罚偏离学习流形和操纵变量中过度变化率的同时，最大化Q-critic。我们在两个工业案例研究中测试了HOFLON：一个聚合反应器启动和一个造纸机产品切换问题，并将其与领先的离线RL算法Implicit Q-Learning（IQL）进行了基准测试。在两个工厂中，HOFLON不仅超越了IQL，而且平均而言，提供了比历史数据中观察到的最佳启动或产品切换更好的累积奖励，证明了其自动化超出当前专家能力的转换操作的潜力。
🔬 方法详解
问题定义：论文旨在解决连续流程工业中启动和产品切换过程的自动化控制问题。现有方法依赖人工经验，难以保证一致性和最优性。传统的离线强化学习方法在策略超出历史数据范围时，容易出现分布偏移和价值高估，导致性能下降。
核心思路：HOFLON的核心思路是将离线强化学习与在线优化相结合。离线学习用于从历史数据中学习过程的潜在流形和Q函数，在线优化则利用学习到的Q函数，同时约束策略在学习到的流形附近，并限制控制变量的变化率，从而避免分布偏移和价值高估。
技术框架：HOFLON包含离线学习和在线优化两个阶段。离线学习阶段，HOFLON学习一个潜在数据流形和一个长期Q-critic。潜在数据流形用于表示历史数据的可行区域，Q-critic用于预测状态-动作对的累积奖励。在线优化阶段，HOFLON求解一个单步优化问题，目标是最大化Q-critic，同时惩罚偏离学习流形和控制变量的过度变化。
关键创新：HOFLON的关键创新在于将离线学习和在线优化相结合，并引入了潜在数据流形约束。这种混合方法能够有效利用历史数据，同时避免离线RL的分布偏移问题。与传统的离线RL方法相比，HOFLON能够更好地泛化到未见过的状态，并获得更高的累积奖励。
关键设计：HOFLON的关键设计包括：(1) 使用自编码器学习潜在数据流形；(2) 使用Q-learning算法训练长期Q-critic；(3) 在在线优化问题中，使用惩罚项约束策略在学习流形附近，并限制控制变量的变化率。具体损失函数和网络结构细节在论文中未详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
在聚合反应器启动和造纸机产品切换两个工业案例中，HOFLON均显著优于IQL。HOFLON不仅实现了更高的累积奖励，而且超越了历史数据中的最佳表现。具体性能提升数据未在摘要中给出，属于未知信息。
🎯 应用场景
HOFLON可应用于各种连续流程工业，例如化工、制药、造纸等，用于自动化流程启动、产品切换和优化控制。该方法能够降低人工干预，提高生产效率和产品质量，并减少运营损失。未来，HOFLON有望扩展到更复杂的工业过程控制问题。
📄 摘要（原文）
Start-ups and product grade-changes are critical steps in continuous-process plant operation, because any misstep immediately affects product quality and drives operational losses. These transitions have long relied on manual operation by a handful of expert operators, but the progressive retirement of that workforce is leaving plant owners without the tacit know-how needed to execute them consistently. In the absence of a process model, offline reinforcement learning (RL) promises to capture and even surpass human expertise by mining historical start-up and grade-change logs, yet standard offline RL struggles with distribution shift and value-overestimation whenever a learned policy ventures outside the data envelope. We introduce HOFLON (Hybrid Offline Learning + Online Optimization) to overcome those limitations. Offline, HOFLON learns (i) a latent data manifold that represents the feasible region spanned by past transitions and (ii) a long-horizon Q-critic that predicts the cumulative reward from state-action pairs. Online, it solves a one-step optimization problem that maximizes the Q-critic while penalizing deviations from the learned manifold and excessive rates of change in the manipulated variables. We test HOFLON on two industrial case studies: a polymerization reactor start-up and a paper-machine grade-change problem, and benchmark it against Implicit Q-Learning (IQL), a leading offline-RL algorithm. In both plants HOFLON not only surpasses IQL but also delivers, on average, better cumulative rewards than the best start-up or grade-change observed in the historical data, demonstrating its potential to automate transition operations beyond current expert capability.