Physics-Guided Reinforcement Learning System for Realistic Vehicle Active Suspension Control
作者: Anh N. Nhu, Ngoc-Anh Le, Shihang Li, Thang D. V. Truong
分类: cs.RO, cs.CE, eess.SY
发布日期: 2024-08-15
备注: \c{opyright} 2024 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works
期刊: 2023 International Conference on Machine Learning and Applications (ICMLA), pp. 422-429
DOI: 10.1109/ICMLA58977.2023.00065
💡 一句话要点
提出物理引导的深度强化学习主动悬架控制系统，提升车辆行驶舒适性和稳定性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 主动悬架控制 深度强化学习 物理引导 车辆动力学 四分之一车辆模型
📋 核心要点
- 主动悬架控制面临实时适应各种路况的挑战，传统方法难以兼顾舒适性和稳定性。
- 提出物理引导的深度强化学习方法，将物理约束融入控制策略，保证系统物理可行性。
- 实验结果表明，该方法显著降低车辆振动，提升乘客舒适性，优于传统被动悬架系统。
📝 摘要（中文）
本文提出了一种基于物理引导的深度强化学习（DRL）方法，用于实时调整主动悬架系统的可变运动学和顺应性。该方法以四分之一车辆模型为基础，将作动器的刚度和阻尼控制作为模型的输出，并将其限制在物理可行的范围内，以保证系统的物理一致性。该模型在符合ISO 8608标准的随机道路剖面上进行训练，以优化作动器的控制策略。仿真结果表明，该方法能够使车辆在各种真实道路条件下平稳行驶，并显著降低振荡程度，从而提高乘客舒适性和车辆稳定性。定量分析表明，与被动悬架系统相比，该方法能够分别降低车辆平均垂直速度和加速度43.58%和17.22%，从而最大限度地减少垂直运动对乘客的影响。
🔬 方法详解
问题定义：主动悬架系统旨在通过动态调整刚度和阻尼系数来提升车辆的行驶舒适性和稳定性。然而，现有方法难以在各种复杂路况下实现实时优化控制，尤其是在保证控制策略的物理可行性方面存在挑战。被动悬架系统无法根据路况变化进行调整，而传统控制算法可能导致不符合物理规律的控制输出，影响系统性能和安全性。
核心思路：本文的核心思路是将物理知识融入深度强化学习框架中，通过物理引导来约束控制策略的学习过程。具体而言，通过限制作动器的刚度和阻尼控制在物理可行的范围内，确保学习到的控制策略能够满足系统的物理约束，从而提高控制策略的可靠性和鲁棒性。这种方法能够利用深度强化学习的自适应能力，同时保证控制策略的物理合理性。
技术框架：该方法采用四分之一车辆模型作为仿真环境，利用深度强化学习算法训练主动悬架控制策略。整体框架包括以下几个主要模块：1) 车辆动力学模型：描述车辆的运动状态和悬架系统的动力学特性。2) 道路激励模型：生成符合ISO 8608标准的随机道路剖面，模拟真实路况。3) 深度强化学习智能体：基于深度神经网络学习控制策略，根据车辆状态和道路激励输出作动器的刚度和阻尼控制信号。4) 物理约束模块：限制作动器的控制信号在物理可行范围内，保证系统的物理一致性。
关键创新：该方法最重要的技术创新点在于将物理约束融入深度强化学习框架中，通过物理引导来约束控制策略的学习过程。与传统的深度强化学习方法相比，该方法能够更好地保证控制策略的物理可行性，提高控制策略的可靠性和鲁棒性。此外，该方法还能够利用深度强化学习的自适应能力，根据不同的路况实时优化控制策略。
关键设计：在参数设置方面，作者根据实际车辆参数和作动器性能选择了合适的刚度和阻尼控制范围。在损失函数设计方面，作者综合考虑了车辆的垂直速度、加速度以及悬架行程等因素，设计了一个综合性的奖励函数，以优化车辆的行驶舒适性和稳定性。在网络结构方面，作者采用了深度神经网络作为控制策略的学习器，并根据实际问题的复杂程度选择了合适的网络层数和神经元数量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的物理引导深度强化学习方法在降低车辆振动方面表现出色。与被动悬架系统相比，该方法能够分别降低车辆平均垂直速度和加速度43.58%和17.22%。仿真结果还显示，该方法能够使车辆在各种真实道路条件下平稳行驶，并显著降低振荡程度，从而提高乘客舒适性和车辆稳定性。
🎯 应用场景
该研究成果可应用于各种车辆主动悬架控制系统，提升车辆的行驶舒适性、操控性和安全性。通过实时调整悬架参数，车辆能够更好地适应各种复杂路况，减少振动，提高乘坐舒适性。此外，该技术还可应用于自动驾驶车辆，提高车辆的稳定性和安全性，增强车辆在复杂环境下的适应能力。未来，该技术有望在智能交通领域发挥重要作用。
📄 摘要（原文）
The suspension system is a crucial part of the automotive chassis, improving vehicle ride comfort and isolating passengers from rough road excitation. Unlike passive suspension, which has constant spring and damping coefficients, active suspension incorporates electronic actuators into the system to dynamically control stiffness and damping variables. However, effectively controlling the suspension system poses a challenging task that necessitates real-time adaptability to various road conditions. This paper presents the Physics-Guided Deep Reinforcement Learning (DRL) for adjusting an active suspension system's variable kinematics and compliance properties for a quarter-car model in real time. Specifically, the outputs of the model are defined as actuator stiffness and damping control, which are bound within physically realistic ranges to maintain the system's physical compliance. The proposed model was trained on stochastic road profiles according to ISO 8608 standards to optimize the actuator's control policy. According to qualitative results on simulations, the vehicle body reacts smoothly to various novel real-world road conditions, having a much lower degree of oscillation. These observations mean a higher level of passenger comfort and better vehicle stability. Quantitatively, DRL outperforms passive systems in reducing the average vehicle body velocity and acceleration by 43.58% and 17.22%, respectively, minimizing the vertical movement impacts on the passengers. The code is publicly available at github.com/anh-nn01/RL4Suspension-ICMLA23.