A Sim-to-Real Deep Learning-based Framework for Autonomous Nano-drone Racing

📄 arXiv: 2312.08991v1 📥 PDF

作者: Lorenzo Lamberti, Elia Cereda, Gabriele Abbate, Lorenzo Bellone, Victor Javier Kartsch Morinigo, Michał Barcis, Agata Barcis, Alessandro Giusti, Francesco Conti, Daniele Palossi

分类: cs.RO, eess.IV, eess.SY

发布日期: 2023-12-14

备注: 8 pages, 10 Figures, 3 Tables, This paper has been accepted for publication in the IEEE Robotics and Automation Letters (RAL). Copyright 2023 IEEE

期刊: IEEE Robotics and Automation Letters (Volume: 9, Issue: 2, February 2024)

DOI: 10.1109/LRA.2024.3349814

💡 一句话要点

提出基于Sim-to-Real深度学习的自主纳米无人机竞速框架，解决资源受限环境下的视觉导航问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 纳米无人机 自主竞速 深度学习 Sim-to-Real 视觉导航

📋 核心要点

  1. 自主无人机竞速旨在提升无人机的感知、规划和控制能力，而纳米无人机因其尺寸限制带来了资源约束的挑战。
  2. 论文提出了一种完全基于板载深度学习的视觉导航方法，仅使用仿真数据进行训练，从而降低了对真实数据的依赖。
  3. 该方法在IMAV 2022 Nanocopter AI Challenge中获得第一名，在5分钟内行驶115米，成功避开了静态和动态障碍物。

📝 摘要（中文）

本文提出了一种基于深度学习的完全自主的纳米无人机竞速方法，该方法仅使用仿真图像进行训练，并成功赢得了IMAV 2022 Nanocopter AI Challenge国际比赛的第一名。由于纳米无人机（~10cm）的尺寸限制了其板载资源（包括内存、计算和传感器），自主纳米无人机竞速面临新的挑战。该方法包括用于避障的卷积神经网络、sim-to-real数据集收集程序，以及通过仿真和实际飞行实验选择、表征和调整的导航策略。在比赛中，该系统在5分钟的飞行时间内行驶了115米，并且在躲避静态和动态障碍物时没有发生碰撞。通过分享这些知识，旨在为该领域未来的发展奠定坚实的基础。

🔬 方法详解

问题定义：纳米无人机竞速面临着严峻的资源约束，包括计算能力、内存和传感器。传统的视觉导航方法难以直接应用于这种资源受限的平台。现有的方法通常依赖于大量的真实数据进行训练，这在纳米无人机领域是难以实现的，因为收集和标注真实数据成本高昂。

核心思路：论文的核心思路是利用仿真环境生成大量训练数据，并采用Sim-to-Real的方法，将仿真环境中训练的模型迁移到真实世界中。通过这种方式，可以避免对大量真实数据的依赖，降低训练成本，并解决纳米无人机资源受限的问题。

技术框架：该框架主要包含三个模块：1) 卷积神经网络（CNN）用于避障；2) Sim-to-Real数据集收集程序，用于生成仿真训练数据；3) 导航策略，通过仿真和实际飞行实验进行选择、表征和调整。整体流程是首先在仿真环境中训练CNN模型，然后利用Sim-to-Real技术将模型迁移到真实环境中，最后通过实际飞行实验对导航策略进行优化。

关键创新：最重要的技术创新点在于提出了一种有效的Sim-to-Real方法，能够将仿真环境中训练的深度学习模型成功应用于真实的纳米无人机竞速场景。与现有方法相比，该方法不需要大量的真实数据进行训练，降低了训练成本，并解决了纳米无人机资源受限的问题。

关键设计：具体的技术细节包括：1) CNN网络结构的选择和优化，使其能够在有限的计算资源下实现高效的避障；2) Sim-to-Real数据集的生成策略，包括场景的多样性、光照变化、纹理差异等，以提高模型的泛化能力；3) 导航策略的设计，包括速度控制、方向控制、障碍物规避等，以实现高效的竞速。

📊 实验亮点

该系统在IMAV 2022 Nanocopter AI Challenge国际比赛中获得第一名，在5分钟的飞行时间内行驶了115米，并且在躲避静态和动态障碍物时没有发生碰撞。该结果显著优于其他参赛队伍，证明了该方法在纳米无人机自主竞速方面的有效性。

🎯 应用场景

该研究成果可应用于资源受限环境下的自主导航任务，例如室内机器人、微型飞行器、以及其他需要低功耗、小尺寸的智能设备。该方法在搜索救援、环境监测、以及工业巡检等领域具有潜在的应用价值，能够提升这些应用场景下的自主化水平。

📄 摘要（原文）

Autonomous drone racing competitions are a proxy to improve unmanned aerial vehicles' perception, planning, and control skills. The recent emergence of autonomous nano-sized drone racing imposes new challenges, as their ~10cm form factor heavily restricts the resources available onboard, including memory, computation, and sensors. This paper describes the methodology and technical implementation of the system winning the first autonomous nano-drone racing international competition: the IMAV 2022 Nanocopter AI Challenge. We developed a fully onboard deep learning approach for visual navigation trained only on simulation images to achieve this goal. Our approach includes a convolutional neural network for obstacle avoidance, a sim-to-real dataset collection procedure, and a navigation policy that we selected, characterized, and adapted through simulation and actual in-field experiments. Our system ranked 1st among seven competing teams at the competition. In our best attempt, we scored 115m of traveled distance in the allotted 5-minute flight, never crashing while dodging static and dynamic obstacles. Sharing our knowledge with the research community, we aim to provide a solid groundwork to foster future development in this field.