Stabilization of vertical motion of a vehicle on bumpy terrain using deep reinforcement learning
作者: Ameya Salvi, John Coleman, Jake Buzhardt, Venkat Krovi, Phanindra Tallapragada
分类: cs.RO
发布日期: 2024-09-21
DOI: 10.1016/j.ifacol.2022.11.197
💡 一句话要点
提出基于深度强化学习的速度控制方法，用于稳定崎岖地形车辆的垂直运动
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 车辆控制 垂直运动稳定 自主车辆 崎岖地形
📋 核心要点
- 现有车辆垂直运动稳定方法主要依赖主动悬架，忽略了速度调节对车辆垂直和纵向耦合动态的影响。
- 本文提出一种基于深度强化学习的控制策略，通过调节车辆速度来最小化垂直加速度，实现垂直运动稳定。
- 通过训练深度强化学习智能体，控制缩比车辆在颠簸路面上的速度，验证了该方法在稳定垂直运动方面的有效性。
📝 摘要（中文）
本文研究了道路和越野车辆垂直动态的稳定问题，重点关注车载传感器性能对自主车辆的影响。现有方法主要集中于主动悬架系统，较少考虑车辆速度的调节，而速度对车辆的垂直和纵向动力学耦合至关重要。针对军用车辆在非结构化越野环境中垂直振荡稳定问题，以及车辆质量、悬架刚度和阻尼等参数变化对控制性能的影响，本文提出了一种基于深度强化学习的控制策略。该策略通过控制车辆速度，最小化在颠簸路面上行驶的缩比车辆的垂直加速度。
🔬 方法详解
问题定义：论文旨在解决车辆在崎岖地形上行驶时，由于颠簸引起的垂直方向剧烈振动问题。现有方法主要依赖于主动悬架系统，但忽略了车辆速度对垂直振动的影响。此外，车辆结构参数（如质量、悬架刚度等）的变化也会显著影响控制器的性能，尤其是在非结构化越野环境中。
核心思路：论文的核心思路是利用深度强化学习（DRL）训练一个智能体，通过控制车辆的行驶速度来主动抑制垂直方向的振动。这种方法将速度控制纳入垂直运动稳定控制的范畴，充分利用了车辆纵向和垂直方向的动力学耦合特性。
技术框架：整体框架包含一个车辆动力学模型（可能是简化的缩比模型），一个深度强化学习智能体，以及一个奖励函数。智能体接收车辆的状态信息（例如垂直加速度、速度等）作为输入，输出控制指令（例如油门或刹车）。车辆动力学模型根据控制指令更新车辆状态，并将新的状态反馈给智能体。智能体通过与环境的交互不断学习，优化控制策略。
关键创新：关键创新在于将车辆速度控制与主动悬架控制相结合，形成一种更全面的垂直运动稳定控制策略。此外，利用深度强化学习处理高维状态空间和复杂的非线性动力学，使得控制器能够适应车辆参数变化和非结构化环境。
关键设计：论文可能采用了某种Actor-Critic算法，例如DDPG或TD3，作为深度强化学习的框架。奖励函数的设计至关重要，可能包含对垂直加速度的惩罚项，以及对速度变化的约束项。网络结构的选择也需要仔细考虑，可能采用卷积神经网络处理传感器数据，或者采用循环神经网络处理时间序列数据。具体的参数设置（例如学习率、折扣因子、探索噪声等）需要根据实验结果进行调整。
🖼️ 关键图片
📊 实验亮点
论文通过实验验证了基于深度强化学习的速度控制方法在稳定车辆垂直运动方面的有效性。虽然摘要中没有提供具体的性能数据，但可以推断，实验结果表明该方法能够显著降低车辆的垂直加速度，并优于传统的主动悬架控制方法。此外，该方法还展现了对车辆参数变化和非结构化环境的鲁棒性。
🎯 应用场景
该研究成果可应用于各种陆地车辆，包括军用车辆、越野车辆和自动驾驶车辆。通过稳定车辆的垂直运动，可以提高乘坐舒适性、减少货物损坏、提升传感器性能，并最终提高车辆的整体性能和安全性。该方法在军事侦察、物流运输和自动驾驶等领域具有广阔的应用前景。
📄 摘要（原文）
Stabilizing vertical dynamics for on-road and off-road vehicles is an important research area that has been looked at mostly from the point of view of ride comfort. The advent of autonomous vehicles now shifts the focus more towards developing stabilizing techniques from the point of view of onboard proprioceptive and exteroceptive sensors whose real-time measurements influence the performance of an autonomous vehicle. The current solutions to this problem of managing the vertical oscillations usually limit themselves to the realm of active suspension systems without much consideration to modulating the vehicle velocity, which plays an important role by the virtue of the fact that vertical and longitudinal dynamics of a ground vehicle are coupled. The task of stabilizing vertical oscillations for military ground vehicles becomes even more challenging due lack of structured environments, like city roads or highways, in off-road scenarios. Moreover, changes in structural parameters of the vehicle, such as mass (due to changes in vehicle loading), suspension stiffness and damping values can have significant effect on the controller's performance. This demands the need for developing deep learning based control policies, that can take into account an extremely large number of input features and approximate a near optimal control action. In this work, these problems are addressed by training a deep reinforcement learning agent to minimize the vertical acceleration of a scaled vehicle travelling over bumps by controlling its velocity.