Transfer of Reinforcement Learning-Based Controllers from Model- to Hardware-in-the-Loop
作者: Mario Picerno, Lucas Koch, Kevin Badalian, Marius Wegener, Joschka Schaub, Charles Robert Koch, Jakob Andert
分类: cs.LG, cs.AI
发布日期: 2023-10-25
期刊: IEEE Transactions on Vehicular Technology (2025)
💡 一句话要点
结合迁移学习与硬件仿真加速强化学习控制器开发
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 迁移学习 硬件在环 模型在环 嵌入式系统 控制器开发 智能控制 数据效率
📋 核心要点
- 现有的强化学习方法在嵌入式系统控制功能开发中面临数据生成成本高和安全性限制的问题。
- 本文提出结合迁移学习和硬件在环仿真，加速强化学习代理的训练过程，提升其在真实环境中的应用能力。
- 实验结果表明，经过迁移的代理在硬件上训练时间减少了5.9倍，显示出迁移学习与仿真之间的强大协同效应。
📝 摘要（中文）
嵌入式系统控制功能的开发过程资源密集且耗时，往往导致成本和解决方案的次优。强化学习（RL）在自主训练复杂控制任务方面具有巨大潜力，但由于数据生成成本高和安全约束，其应用主要限于模拟领域。本文通过结合迁移学习（TL）和硬件在环（HiL）仿真，加速RL代理的训练过程。以内燃机的瞬态排气再循环控制为例，利用计算成本低的模型在环（MiL）仿真选择合适的算法、微调超参数，并最终训练候选代理。经过迁移的RL代理在HiL系统中进一步微调，结果显示训练时间减少了5.9倍，强调了在真实硬件上训练RL代理的必要性。
🔬 方法详解
问题定义：本文旨在解决强化学习在嵌入式系统控制功能开发中的应用局限性，尤其是数据生成成本高和安全性问题。现有方法多依赖于纯模拟环境，难以有效迁移到真实硬件。
核心思路：通过结合迁移学习和硬件在环仿真，利用模型在环仿真快速选择和微调算法，进而在真实硬件上进行有效的训练和调整。这样的设计旨在减少训练时间并提高代理在实际应用中的表现。
技术框架：整体流程包括三个主要阶段：首先在模型在环（MiL）仿真中选择合适的算法并微调超参数；其次在硬件在环（HiL）系统中对预训练的代理进行微调；最后评估迁移学习的效果和训练时间的减少。
关键创新：本文的主要创新在于将迁移学习与硬件在环仿真结合，显著提高了强化学习代理在真实环境中的训练效率，尤其是在调整奖励参数方面的必要性。
关键设计：在模型在环仿真中，采用了计算成本低的算法选择和超参数微调策略；在硬件在环系统中，针对真实硬件的特性调整了奖励参数，以确保代理的有效性和安全性。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，经过迁移学习的强化学习代理在硬件上训练时间减少了5.9倍，显著优于仅在硬件上训练的代理。这一结果强调了在真实硬件上进行训练的重要性，并证明了迁移学习与仿真之间的强大协同效应。
🎯 应用场景
该研究的潜在应用领域包括汽车、机器人和其他嵌入式系统的控制功能开发。通过加速强化学习代理的训练过程，可以显著降低开发成本和时间，提高系统的智能化水平和安全性，未来可能在智能交通、自动驾驶等领域产生深远影响。
📄 摘要（原文）
The process of developing control functions for embedded systems is resource-, time-, and data-intensive, often resulting in sub-optimal cost and solutions approaches. Reinforcement Learning (RL) has great potential for autonomously training agents to perform complex control tasks with minimal human intervention. Due to costly data generation and safety constraints, however, its application is mostly limited to purely simulated domains. To use RL effectively in embedded system function development, the generated agents must be able to handle real-world applications. In this context, this work focuses on accelerating the training process of RL agents by combining Transfer Learning (TL) and X-in-the-Loop (XiL) simulation. For the use case of transient exhaust gas re-circulation control for an internal combustion engine, use of a computationally cheap Model-in-the-Loop (MiL) simulation is made to select a suitable algorithm, fine-tune hyperparameters, and finally train candidate agents for the transfer. These pre-trained RL agents are then fine-tuned in a Hardware-in-the-Loop (HiL) system via TL. The transfer revealed the need for adjusting the reward parameters when advancing to real hardware. Further, the comparison between a purely HiL-trained and a transferred agent showed a reduction of training time by a factor of 5.9. The results emphasize the necessity to train RL agents with real hardware, and demonstrate that the maturity of the transferred policies affects both training time and performance, highlighting the strong synergies between TL and XiL simulation.