Pay Attention to How You Drive: Safe and Adaptive Model-Based Reinforcement Learning for Off-Road Driving

📄 arXiv: 2310.08674v1 📥 PDF

作者: Sean J. Wang, Honghao Zhu, Aaron M. Johnson

分类: cs.RO

发布日期: 2023-10-12

💡 一句话要点

提出一种安全自适应的模型驱动强化学习方法以解决越野驾驶问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自主驾驶 强化学习 模型预测控制 系统识别 越野驾驶 安全控制 自适应模型

📋 核心要点

  1. 现有方法在越野驾驶中面临风险行为导致的灾难性损害，且准确建模机器人动力学困难。
  2. 论文提出了一种模型驱动强化学习方法，通过训练SIT和ADM来平衡鲁棒性与适应性。
  3. 实验结果显示，该方法在不同环境下实现了约41%的圈速提升，同时保持安全性。

📝 摘要（中文）

自主越野驾驶面临挑战，因为机器人采取的风险行为可能导致灾难性损害。因此，在模拟环境中开发控制器是理想选择，因为这提供了更安全和经济的替代方案。然而，由于复杂的机器人动力学和非结构化环境中的地形交互，准确建模机器人动力学非常困难。本文提出了一种新颖的模型驱动强化学习方法，旨在平衡鲁棒性与适应性。该方法在多种模拟动力学下训练系统识别变换器（SIT）和自适应动力学模型（ADM），并通过风险感知模型预测路径积分控制器（MPPI）安全控制机器人。实验表明，该方法在不同环境下实现了约41%的圈速提升，同时保持安全性。

🔬 方法详解

问题定义：本文旨在解决自主越野驾驶中机器人因风险行为导致的安全问题，现有方法在模拟环境中建模动力学时往往牺牲性能以增强鲁棒性。

核心思路：提出了一种新颖的模型驱动强化学习方法，结合系统识别变换器（SIT）和自适应动力学模型（ADM），以实现对目标系统动力学的有效学习和适应。

技术框架：整体架构包括两个主要模块：SIT用于提取状态转移观察并生成上下文向量，ADM则在此基础上概率性建模系统动力学。在线控制中，使用风险感知模型预测路径积分控制器（MPPI）进行安全控制。

关键创新：最重要的创新在于引入了SIT和ADM的结合，利用注意力机制提炼状态转移信息，从而实现对复杂动力学的有效建模，与传统方法相比，显著提升了适应性和安全性。

关键设计：在模型训练中，SIT通过注意力机制提取信息，ADM采用概率模型进行动力学建模，MPPI控制器则在当前动力学理解下进行安全控制，确保机器人在不同环境中的安全性和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在不同环境下实现了约41%的圈速提升，相较于非自适应基线表现出更快的速度和更高的安全性，验证了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自主驾驶、机器人探测和救援任务等。通过提高越野驾驶的安全性和效率，能够在复杂环境中实现更高效的自动化操作，具有重要的实际价值和未来影响。

📄 摘要（原文）

Autonomous off-road driving is challenging as risky actions taken by the robot may lead to catastrophic damage. As such, developing controllers in simulation is often desirable as it provides a safer and more economical alternative. However, accurately modeling robot dynamics is difficult due to the complex robot dynamics and terrain interactions in unstructured environments. Domain randomization addresses this problem by randomizing simulation dynamics parameters, however this approach sacrifices performance for robustness leading to policies that are sub-optimal for any target dynamics. We introduce a novel model-based reinforcement learning approach that aims to balance robustness with adaptability. Our approach trains a System Identification Transformer (SIT) and an Adaptive Dynamics Model (ADM) under a variety of simulated dynamics. The SIT uses attention mechanisms to distill state-transition observations from the target system into a context vector, which provides an abstraction for its target dynamics. Conditioned on this, the ADM probabilistically models the system's dynamics. Online, we use a Risk-Aware Model Predictive Path Integral controller (MPPI) to safely control the robot under its current understanding of the dynamics. We demonstrate in simulation as well as in multiple real-world environments that this approach enables safer behaviors upon initialization and becomes less conservative (i.e. faster) as its understanding of the target system dynamics improves with more observations. In particular, our approach results in an approximately 41% improvement in lap-time over the non-adaptive baseline while remaining safe across different environments.