Safe Reinforcement Learning-based Control for Hydrogen Diesel Dual-Fuel Engines
作者: Vasu Sharma, Alexander Winkler, Armin Norouzi, Jakob Andert, David Gordon, Hongsheng Guo
分类: eess.SY
发布日期: 2025-02-13
备注: This work has been submitted to IFAC for possible publication
💡 一句话要点
提出基于安全强化学习的氢柴油双燃料发动机控制方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 氢能 柴油发动机 强化学习 安全控制 离线学习 状态增强 双燃料系统
📋 核心要点
- 现有的氢柴油双燃料发动机控制方法需要大量的数学建模，且强化学习算法在实时性和数据需求上存在不足。
- 论文提出了一种结合离线模型学习与强化学习的控制方法，通过状态增强实现样本高效学习，确保控制的安全性。
- 实验结果表明，所提出的控制算法在真实发动机上运行时，计算时间比传统在线模型预测控制减少了6倍，展示了显著的性能提升。
📝 摘要（中文）
随着可持续未来的紧迫能源转型需求，各行业面临重大挑战。氢气作为一种清洁、无碳的能源，具有与现有运输解决方案整合的潜力。然而，将氢气添加到现有柴油发动机技术中需要额外的建模工作。强化学习（RL）能够实现交互式数据驱动学习，消除对数学建模的需求。本文提出了一种新方法，利用离线模型学习与RL相结合，展示了对4.5升氢柴油双燃料（H2DF）发动机的安全控制。所提出的控制器符合约束条件，并能够利用新颖的状态增强方法实现样本高效学习。离线策略随后在真实发动机上进行了实验验证，控制算法在树莓派控制器上执行，计算时间比在线模型预测控制（MPC）优化减少了6倍。
🔬 方法详解
问题定义：本文旨在解决氢柴油双燃料发动机控制中的建模复杂性和实时性不足的问题。现有方法依赖于大量的数学模型，难以适应快速变化的环境。
核心思路：论文提出的核心思路是利用离线强化学习进行模型学习，避免实时建模的需求，同时通过状态增强技术提高样本学习效率。
技术框架：整体架构包括离线模型学习、状态增强、控制策略生成和实验验证四个主要模块。首先，通过离线数据训练模型，然后利用增强的状态信息进行控制策略的优化，最后在真实环境中进行验证。
关键创新：最重要的技术创新在于结合了离线强化学习与状态增强方法，使得控制器在保证安全性的同时，显著提高了学习效率和计算性能。与传统的在线模型预测控制相比，具有更低的计算需求。
关键设计：在设计中，采用了特定的损失函数来优化控制策略，并通过调整网络结构和参数设置，确保模型在不同操作条件下的稳定性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的控制算法在真实氢柴油双燃料发动机上运行时，计算时间比传统在线模型预测控制减少了6倍，表明该方法在效率和安全性方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括氢能汽车、混合动力系统以及其他需要高效能和安全性的内燃机控制系统。通过优化控制策略，能够推动氢能在交通运输领域的实际应用，助力可持续发展目标的实现。
📄 摘要（原文）
The urgent energy transition requirements towards a sustainable future stretch across various industries and are a significant challenge facing humanity. Hydrogen promises a clean, carbon-free future, with the opportunity to integrate with existing solutions in the transportation sector. However, adding hydrogen to existing technologies such as diesel engines requires additional modeling effort. Reinforcement Learning (RL) enables interactive data-driven learning that eliminates the need for mathematical modeling. The algorithms, however, may not be real-time capable and need large amounts of data to work in practice. This paper presents a novel approach which uses offline model learning with RL to demonstrate safe control of a 4.5 L Hydrogen Diesel Dual-Fuel (H2DF) engine. The controllers are demonstrated to be constraint compliant and can leverage a novel state-augmentation approach for sample-efficient learning. The offline policy is subsequently experimentally validated on the real engine where the control algorithm is executed on a Raspberry Pi controller and requires 6 times less computation time compared to online Model Predictive Control (MPC) optimization.