Reaching the Limit in Autonomous Racing: Optimal Control versus Reinforcement Learning
作者: Yunlong Song, Angel Romero, Matthias Mueller, Vladlen Koltun, Davide Scaramuzza
分类: cs.RO, cs.LG
发布日期: 2023-10-17 (更新: 2023-10-18)
期刊: Science Robotics, 2023
DOI: 10.1126/scirobotics.adg1462
💡 一句话要点
提出强化学习以优化自主无人机竞速控制系统
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 最优控制 无人机竞速 机器人控制 动态环境 控制系统设计 领域随机化
📋 核心要点
- 现有的最优控制方法在面对复杂环境时，往往由于问题分解导致控制性能不足。
- 本文提出使用强化学习直接优化任务级目标，克服了传统最优控制的局限性。
- 实验结果显示，强化学习控制器在短时间内实现超人类控制，达到极高的加速和速度性能。
📝 摘要（中文）
本文系统性研究了如何为灵活移动机器人设计控制系统，聚焦于自主无人机竞速这一挑战性场景。研究表明，使用强化学习（RL）训练的神经网络控制器在该场景中优于最优控制（OC）方法。我们探讨了RL成功的基本因素及OC的局限性，发现RL的优势在于优化了更好的目标，而非仅仅优化其目标。OC将问题分解为规划和控制，使用明确的中间表示（如轨迹），这限制了控制器表达的行为范围，导致在面对未建模效应时性能较差。相对而言，RL可以直接优化任务级目标，并利用领域随机化应对模型不确定性，从而发现更稳健的控制响应。我们的研究推动了无人机的最大性能，达到了超过12倍重力加速度的峰值加速和108公里每小时的峰值速度。
🔬 方法详解
问题定义：本文旨在解决自主无人机竞速中的控制系统设计问题，现有的最优控制方法因其分解策略在复杂环境中表现不佳，限制了控制性能。
核心思路：通过使用强化学习（RL）直接优化任务级目标，避免了最优控制（OC）方法的中间表示限制，从而实现更灵活的控制策略。
技术框架：整体架构包括强化学习训练模块、任务级目标优化模块和领域随机化模块。RL训练模块负责通过与环境交互学习控制策略，任务级目标优化模块确保控制器能够直接针对任务目标进行优化，领域随机化模块则增强模型的鲁棒性。
关键创新：最重要的技术创新在于RL能够直接优化更高层次的任务目标，而OC方法则依赖于明确的中间表示，导致其在复杂环境中的适应性不足。
关键设计：在训练过程中，使用了特定的损失函数来引导RL优化，网络结构采用了深度神经网络，以增强其表达能力和学习效率，同时引入领域随机化技术以应对模型的不确定性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，强化学习控制器在短时间内实现了超人类控制，达到峰值加速超过12倍重力加速度，峰值速度达到108公里每小时，显著优于传统的最优控制方法，展示了RL在高动态控制任务中的巨大潜力。
🎯 应用场景
该研究的潜在应用领域包括无人机竞速、自动驾驶、机器人导航等高动态环境中的控制系统设计。通过强化学习优化控制策略，可以显著提升机器人在复杂环境中的适应能力和性能，具有广泛的实际价值和未来影响。
📄 摘要（原文）
A central question in robotics is how to design a control system for an agile mobile robot. This paper studies this question systematically, focusing on a challenging setting: autonomous drone racing. We show that a neural network controller trained with reinforcement learning (RL) outperformed optimal control (OC) methods in this setting. We then investigated which fundamental factors have contributed to the success of RL or have limited OC. Our study indicates that the fundamental advantage of RL over OC is not that it optimizes its objective better but that it optimizes a better objective. OC decomposes the problem into planning and control with an explicit intermediate representation, such as a trajectory, that serves as an interface. This decomposition limits the range of behaviors that can be expressed by the controller, leading to inferior control performance when facing unmodeled effects. In contrast, RL can directly optimize a task-level objective and can leverage domain randomization to cope with model uncertainty, allowing the discovery of more robust control responses. Our findings allowed us to push an agile drone to its maximum performance, achieving a peak acceleration greater than 12 times the gravitational acceleration and a peak velocity of 108 kilometers per hour. Our policy achieved superhuman control within minutes of training on a standard workstation. This work presents a milestone in agile robotics and sheds light on the role of RL and OC in robot control.