Learning to Drift with Individual Wheel Drive: Maneuvering Autonomous Vehicle at the Handling Limits
作者: Yihan Zhou, Yiwen Lu, Bo Yang, Jiayun Li, Yilin Mo
分类: cs.RO, eess.SY
发布日期: 2025-07-31 (更新: 2025-08-01)
💡 一句话要点
提出基于强化学习和领域随机化的漂移控制方法，解决车辆极限工况下的操控问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 漂移控制 领域随机化 自动驾驶 车辆动力学
📋 核心要点
- 现有强化学习漂移控制方法在仿真环境中表现良好，但难以克服仿真到现实的差距，导致在真实系统中性能下降。
- 论文提出一种基于强化学习的框架，利用GPU加速并行仿真和系统性领域随机化，以缩小仿真与现实之间的差距。
- 实验结果表明，该方法在模拟和真实环境中均能实现精确的轨迹跟踪，并在复杂机动中保持可控的侧滑角。
📝 摘要（中文）
本文提出了一种基于强化学习的框架，该框架利用GPU加速的并行仿真和系统的领域随机化，有效地弥合了仿真到现实的差距。该方法旨在解决车辆在摩擦极限下安全处理紧急情况的关键问题，即通过控制车辆在高侧滑角下的运动来实现漂移。该方法在一个定制设计的、开源的1/10比例的独立轮驱动（IWD）遥控车平台上进行了验证，该平台具有独立的轮速控制功能。从稳态圆形漂移到方向转换和变曲率路径跟踪的各种场景的实验表明，我们的方法在模拟和真实环境中都能实现精确的轨迹跟踪，同时在复杂的机动过程中保持可控的侧滑角。
🔬 方法详解
问题定义：论文旨在解决自动驾驶车辆在极限工况下的操控问题，特别是如何通过漂移来实现安全和有效的机动。现有强化学习方法虽然在仿真环境中取得了进展，但由于仿真与现实环境的差异，导致策略在真实车辆上的性能显著下降。这种差异主要源于车辆动力学模型的不准确性、传感器噪声以及环境变化等因素。
核心思路：论文的核心思路是利用强化学习训练一个能够在各种不确定性条件下鲁棒运行的漂移控制策略。通过GPU加速的并行仿真，可以快速生成大量训练数据。同时，采用系统性的领域随机化方法，在仿真环境中引入各种随机扰动，使训练出的策略对真实环境中的不确定性具有更强的适应能力。
技术框架：整体框架包括以下几个主要模块：1) 环境建模与仿真：使用高保真车辆动力学模型进行仿真，并利用GPU加速并行计算，提高数据生成效率。2) 强化学习策略训练：采用合适的强化学习算法（具体算法未知）训练漂移控制策略。3) 领域随机化：在仿真环境中随机改变车辆参数、路面摩擦系数、传感器噪声等，增加环境的多样性。4) 策略部署与验证：将训练好的策略部署到真实车辆上，并通过实验验证其性能。
关键创新：论文的关键创新在于将GPU加速的并行仿真和系统性的领域随机化相结合，有效地解决了仿真到现实的迁移问题。通过这种方法，可以在仿真环境中训练出能够在真实环境中鲁棒运行的漂移控制策略。此外，开源的1/10比例独立轮驱动（IWD）遥控车平台也为相关研究提供了便利。
关键设计：论文的关键设计包括：1) 领域随机化的参数范围和分布：需要仔细设计随机化的参数范围，以保证训练的有效性和策略的鲁棒性。2) 强化学习算法的选择和参数调整：需要选择合适的强化学习算法，并根据具体问题调整算法的参数，以获得最佳的训练效果。3) 奖励函数的设计：需要设计合适的奖励函数，以引导策略学习到期望的漂移行为。具体参数设置、损失函数和网络结构等技术细节未知。
🖼️ 关键图片
📊 实验亮点
论文通过在1/10比例的独立轮驱动遥控车平台上进行实验，验证了所提出方法的有效性。实验结果表明，该方法在模拟和真实环境中都能实现精确的轨迹跟踪，并在复杂的机动过程中保持可控的侧滑角。虽然具体的性能数据和对比基线未知，但实验结果表明该方法能够有效地解决仿真到现实的迁移问题。
🎯 应用场景
该研究成果可应用于自动驾驶车辆的紧急避障、赛车运动以及特殊环境下的车辆操控等领域。通过学习漂移控制，自动驾驶车辆可以在极限工况下更安全、更有效地进行机动，提高车辆的行驶安全性。此外，该方法还可以应用于机器人、无人机等其他控制系统中，具有广泛的应用前景。
📄 摘要（原文）
Drifting, characterized by controlled vehicle motion at high sideslip angles, is crucial for safely handling emergency scenarios at the friction limits. While recent reinforcement learning approaches show promise for drifting control, they struggle with the significant simulation-to-reality gap, as policies that perform well in simulation often fail when transferred to physical systems. In this paper, we present a reinforcement learning framework with GPU-accelerated parallel simulation and systematic domain randomization that effectively bridges the gap. The proposed approach is validated on both simulation and a custom-designed and open-sourced 1/10 scale Individual Wheel Drive (IWD) RC car platform featuring independent wheel speed control. Experiments across various scenarios from steady-state circular drifting to direction transitions and variable-curvature path following demonstrate that our approach achieves precise trajectory tracking while maintaining controlled sideslip angles throughout complex maneuvers in both simulated and real-world environments.