Slug Mobile: Test-Bench for RL Testing

📄 arXiv: 2409.10532v2 📥 PDF

作者: Jonathan Wellington Morris, Vishrut Shah, Alex Besanceney, Daksh Shah, Leilani H. Gilpin

分类: cs.RO, cs.LG

发布日期: 2024-08-31 (更新: 2025-03-06)

备注: Presented Poster at BayLearn 2024 hosted by Apple

💡 一句话要点

提出Slug Mobile：用于强化学习测试的低成本、可扩展的自动驾驶测试平台。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 强化学习 Sim-to-real 测试平台 动态视觉传感器 脉冲神经网络 机器人

📋 核心要点

  1. 自动驾驶强化学习面临Sim-to-real gap，即模拟器训练模型难以适应真实环境，车辆动力学差异是主要挑战。
  2. Slug Mobile通过构建一个十分之一比例的自动驾驶测试平台，旨在弥合模拟与现实之间的差距，实现模型在不同车辆间的泛化。
  3. 该平台配备传统传感器和动态视觉传感器，支持在神经形态硬件上训练脉冲神经网络，探索新型感知和控制方法。

📝 摘要（中文）

强化学习中，模型在模拟器中训练后难以迁移到真实世界，这被称为Sim-to-real gap。对于自动驾驶车辆（AVs）而言，这是一个重要问题，因为车辆动力学在模拟和现实之间，甚至不同车辆之间都可能存在差异。Slug Mobile是一个十分之一比例的自动驾驶车辆，旨在通过作为一个测试平台来解决AVs的sim-to-real gap，用于开发可以轻松地从一辆车扩展到另一辆车的模型。除了其他十分之一比例AV中常见的传统传感器外，我们还包括了一个动态视觉传感器（DVS），以便我们可以在神经形态硬件上训练运行的脉冲神经网络（SNN）。

🔬 方法详解

问题定义：自动驾驶车辆的强化学习模型在模拟环境中表现良好，但部署到真实车辆时性能显著下降，这是由于模拟环境与真实环境存在差异，包括车辆动力学、传感器噪声等。现有方法难以有效解决这种Sim-to-real gap，导致模型泛化能力不足，需要针对不同车辆进行重新训练。

核心思路：Slug Mobile的核心思路是构建一个低成本、可扩展的自动驾驶测试平台，通过在真实环境中进行实验，收集数据并训练模型，从而减小Sim-to-real gap。该平台的设计目标是易于复制和修改，以便研究人员可以快速验证新的算法和模型。

技术框架：Slug Mobile平台包括以下主要组成部分：1) 十分之一比例的车辆底盘，配备电机、驱动器和电池；2) 传感器套件，包括摄像头、激光雷达和动态视觉传感器（DVS）；3) 计算单元，用于运行强化学习算法和控制车辆；4) 软件框架，提供数据采集、模型训练和部署等功能。整个系统采用模块化设计，方便进行硬件和软件的升级和扩展。

关键创新：Slug Mobile的关键创新在于其低成本和可扩展性，以及对动态视觉传感器（DVS）的支持。相比于传统的自动驾驶测试车辆，Slug Mobile的成本大大降低，使得更多的研究人员可以参与到自动驾驶的研究中。DVS是一种新型的视觉传感器，具有高时间分辨率和低功耗的特点，可以用于训练脉冲神经网络（SNN），从而实现更高效的感知和控制。

关键设计：Slug Mobile的关键设计包括：1) 车辆底盘的尺寸和重量，需要保证车辆的稳定性和可控性；2) 传感器套件的选择，需要根据具体的应用场景进行选择；3) 计算单元的性能，需要满足强化学习算法的计算需求；4) 软件框架的设计，需要提供易于使用的API和工具，方便研究人员进行开发和调试。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文主要介绍了Slug Mobile平台的硬件和软件设计，以及其在自动驾驶研究中的潜在应用。虽然没有提供具体的实验结果，但该平台为研究人员提供了一个低成本、可扩展的测试环境，可以用于验证各种自动驾驶算法和模型，并有望加速自动驾驶技术的发展。

🎯 应用场景

Slug Mobile可应用于自动驾驶算法的开发、测试和验证，尤其适用于解决Sim-to-real gap问题。该平台可用于研究各种强化学习算法、感知算法和控制算法，并评估其在真实环境中的性能。此外，Slug Mobile还可用于教育和培训，帮助学生和工程师学习自动驾驶技术。

📄 摘要（原文）

Sim-to real gap in Reinforcement Learning is when a model trained in a simulator does not translate to the real world. This is a problem for Autonomous Vehicles (AVs) as vehicle dynamics can vary from simulation to reality, and also from vehicle to vehicle. Slug Mobile is a one tenth scale autonomous vehicle created to help address the sim-to-real gap for AVs by acting as a test-bench to develop models that can easily scale from one vehicle to another. In addition to traditional sensors found in other one tenth scale AVs, we have also included a Dynamic Vision Sensor so we can train Spiking Neural Networks running on neuromorphic hardware.