A Sim-to-Real Vision-based Lane Keeping System for a 1:10-scale Autonomous Vehicle

📄 arXiv: 2409.18097v1 📥 PDF

作者: Antonio Gallina, Matteo Grandin, Angelo Cenedese, Mattia Bruschetta

分类: cs.RO, eess.SY

发布日期: 2024-09-26

备注: 16 pages, 23 figures

💡 一句话要点

提出一种基于视觉的Sim2Real车道保持系统，用于1:10比例的自动驾驶车辆。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: Sim2Real 视觉车道保持 卷积神经网络 自动驾驶 Pure Pursuit控制

📋 核心要点

  1. 现有基于视觉的自动驾驶方案在感知和定位方面存在不足，尤其是在GPS受限的环境中。
  2. 该论文提出了一种基于Sim2Real的视觉车道保持系统，利用仿真数据训练CNN，估计前瞻航向误差。
  3. 通过在Gazebo仿真环境中进行数据增强，并在1:10比例的车辆上进行实验验证，实现了实时性。

📝 摘要（中文）

本文提出了一种基于视觉的车道保持系统(VbLKS)，用于解决感知、世界建模和定位等方面功能不足的场景。该系统由DEI-Unipd团队在2022年博世未来移动挑战赛中开发。主要贡献在于一个无需GPS的Sim2Real VbLKS，用于1:10比例的自动驾驶车辆。在该系统中，使用卷积神经网络(CNN)在恒定的前瞻距离上估计前瞻航向误差(LHE)，作为定制的Pure Pursuit (PP)控制策略的输入。提出了一种紧凑型CNN的训练策略，强调在3D Gazebo模拟器中生成和增强模拟相机图像，从而能够在低端硬件上实现实时操作。实现了一个定制的基于PP的横向控制器，配备了微分作用和一个基于PP的速度参考生成器。通过系统的时延稳定性分析确定了调整范围。并在具有代表性的受控实验室环境中进行了验证。

🔬 方法详解

问题定义：论文旨在解决在GPS受限环境下，小型自动驾驶车辆如何仅通过视觉信息实现稳定可靠的车道保持问题。现有方法可能依赖高精度地图或复杂的传感器融合，但在资源受限的场景下难以应用。

核心思路：核心思路是利用Sim2Real技术，在仿真环境中生成大量带标签的图像数据，训练一个轻量级的卷积神经网络，直接从图像中预测前瞻航向误差（Lookahead Heading Error, LHE）。LHE作为Pure Pursuit控制器的输入，实现车辆的横向控制。

技术框架：整个系统包含以下几个主要模块：1) 基于Gazebo的仿真环境，用于生成训练数据；2) 数据增强模块，用于增加数据的多样性；3) 卷积神经网络，用于预测LHE；4) 基于Pure Pursuit的横向控制器，根据LHE控制车辆转向；5) 基于Pure Pursuit的速度参考生成器，用于控制车辆速度。

关键创新：关键创新在于将Sim2Real技术应用于视觉车道保持系统，并设计了一个紧凑的CNN结构，使其能够在低端硬件上实时运行。此外，还提出了一种针对性的数据增强策略，提高了模型的泛化能力。

关键设计：CNN网络结构相对简单，旨在减少计算量。损失函数选择均方误差（MSE），优化器选择Adam。数据增强方法包括随机旋转、平移、缩放和颜色抖动。Pure Pursuit控制器中加入了微分项，以提高系统的稳定性。通过时延稳定性分析，确定了控制器的参数调整范围。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该系统在1:10比例的自动驾驶车辆上进行了实验验证，证明了Sim2Real方法的有效性。通过仿真数据训练的CNN能够在真实环境中实时预测LHE，并实现稳定的车道保持。实验结果表明，该系统具有良好的鲁棒性和适应性，能够在不同的光照和路面条件下正常工作。虽然论文中没有给出具体的量化指标，但强调了系统在低端硬件上的实时运行能力。

🎯 应用场景

该研究成果可应用于低成本、低功耗的自动驾驶车辆，例如小型机器人、无人搬运车等。在GPS信号弱或无法使用的室内或特定室外场景，该系统具有很高的应用价值。未来可扩展到更复杂的道路环境和车辆类型，推动自动驾驶技术的普及。

📄 摘要（原文）

In recent years, several competitions have highlighted the need to investigate vision-based solutions to address scenarios with functional insufficiencies in perception, world modeling and localization. This article presents the Vision-based Lane Keeping System (VbLKS) developed by the DEI-Unipd Team within the context of the Bosch Future Mobility Challenge 2022. The main contribution lies in a Simulation-to-Reality (Sim2Real) GPS-denied VbLKS for a 1:10-scale autonomous vehicle. In this VbLKS, the input to a tailored Pure Pursuit (PP) based control strategy, namely the Lookahead Heading Error (LHE), is estimated at a constant lookahead distance employing a Convolutional Neural Network (CNN). A training strategy for a compact CNN is proposed, emphasizing data generation and augmentation on simulated camera images from a 3D Gazebo simulator, and enabling real-time operation on low-level hardware. A tailored PP-based lateral controller equipped with a derivative action and a PP-based velocity reference generation are implemented. Tuning ranges are established through a systematic time-delay stability analysis. Validation in a representative controlled laboratory setting is provided.