Is That Rain? Understanding Effects on Visual Odometry Performance for Autonomous UAVs and Efficient DNN-based Rain Classification at the Edge
作者: Andrea Albanese, Yanran Wang, Davide Brunelli, David Boyle
分类: cs.RO, cs.AI
发布日期: 2024-07-17 (更新: 2025-02-11)
💡 一句话要点
针对无人机视觉里程计，研究降雨影响并提出高效边缘端降雨分类DNN
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 无人机 视觉里程计 降雨分类 深度学习 边缘计算 环境感知 MobileNetV3 恶劣天气
📋 核心要点
- 现有的无人机视觉里程计在恶劣天气下的性能未知，缺乏针对降雨等环境因素影响的系统性研究。
- 本文提出使用深度学习方法，在边缘端高效分类降雨等级，为无人机提供实时的环境感知能力。
- 实验表明，轻量级模型MobileNetV3 small在保持较高分类精度的同时，满足了无人机对计算资源和延迟的要求。
📝 摘要（中文）
本文研究了降雨等环境因素对自主无人机视觉里程计性能的影响。首先，构建了一个包含约33.5万张图像的开放数据集，涵盖七种不同的降水条件，用于评估这些影响。实验表明，最坏情况下，先进的视觉里程计系统(VINS-Fusion)的平均跟踪误差可能达到1.5米。然后，利用该数据集训练了一系列适用于移动和资源受限场景的深度神经网络模型，以确定高效准确地分类这些“降雨”条件的可能性。其中，最轻量级的模型(MobileNetV3 small)仅占用1.28MB内存，帧率高达93FPS，精度达到90%，适合部署在资源受限和对延迟敏感的系统中。在典型的飞行计算机硬件上，分类延迟约为毫秒级。因此，该模型可以为自主飞行控制器的扰动估计组件提供输入。此外，具备实时准确判断环境条件能力的无人机数据，有助于开发更精细、更及时的本地化天气预报。
🔬 方法详解
问题定义：论文旨在解决自主无人机在降雨天气下，视觉里程计性能下降的问题。现有的视觉里程计算法通常在晴朗天气下表现良好，但在降雨等恶劣天气下，由于图像质量下降、特征点提取困难等原因，会导致定位精度降低甚至失效。因此，需要一种方法能够实时识别降雨等级，以便无人机调整控制策略或采取其他应对措施。
核心思路：论文的核心思路是利用深度学习技术，训练一个轻量级的降雨分类器，使其能够在无人机的边缘计算平台上高效运行。通过对图像进行分类，判断降雨等级，从而为无人机的飞行控制提供环境信息。这种方法无需修改现有的视觉里程计算法，而是通过额外的环境感知模块来提高无人机的鲁棒性。
技术框架：整体框架包括数据采集、模型训练和模型部署三个主要阶段。首先，采集包含不同降雨等级的图像数据集。然后，使用该数据集训练深度神经网络模型，并选择适合边缘计算平台的轻量级模型。最后，将训练好的模型部署到无人机的飞行计算机上，实现实时的降雨分类。
关键创新：论文的关键创新在于，针对无人机应用的特殊需求，选择了轻量级的MobileNetV3 small模型，并在数据集上进行了针对性的训练。该模型在保证较高分类精度的同时，显著降低了计算复杂度和内存占用，使其能够在资源受限的边缘计算平台上高效运行。与传统的图像处理方法相比，深度学习方法能够更好地提取图像中的复杂特征，从而提高分类精度。
关键设计：论文使用了包含七种不同降水条件的大规模图像数据集进行训练。在模型选择方面，重点考虑了模型的计算复杂度和内存占用，最终选择了MobileNetV3 small模型。在训练过程中，使用了标准的交叉熵损失函数，并采用数据增强等技术来提高模型的泛化能力。模型部署时，对模型进行了量化和剪枝等优化，进一步降低了计算复杂度和内存占用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，最轻量级的模型(MobileNetV3 small)在所构建的数据集上可以达到90%的分类精度，同时内存占用仅为1.28MB，帧率高达93FPS。在典型的飞行计算机硬件上，分类延迟约为毫秒级。这些结果表明，该模型能够在资源受限的边缘计算平台上高效运行，满足无人机对实时性和计算资源的要求。
🎯 应用场景
该研究成果可应用于自主无人机的安全飞行控制，提高无人机在恶劣天气下的鲁棒性。通过实时识别降雨等级，无人机可以调整飞行速度、高度或航线，以避免潜在的危险。此外，该技术还可以应用于智能交通、环境监测等领域，为相关应用提供实时的环境感知能力。未来，结合更精细的天气预报数据，可以进一步提高无人机在复杂环境下的适应性。
📄 摘要（原文）
The development of safe and reliable autonomous unmanned aerial vehicles relies on the ability of the system to recognise and adapt to changes in the local environment based on sensor inputs. State-of-the-art local tracking and trajectory planning are typically performed using camera sensor input to the flight control algorithm, but the extent to which environmental disturbances like rain affect the performance of these systems is largely unknown. In this paper, we first describe the development of an open dataset comprising ~335k images to examine these effects for seven different classes of precipitation conditions and show that a worst-case average tracking error of 1.5 m is possible for a state-of-the-art visual odometry system (VINS-Fusion). We then use the dataset to train a set of deep neural network models suited to mobile and constrained deployment scenarios to determine the extent to which it may be possible to efficiently and accurately classify these `rainy' conditions. The most lightweight of these models (MobileNetV3 small) can achieve an accuracy of 90% with a memory footprint of just 1.28 MB and a frame rate of 93 FPS, which is suitable for deployment in resource-constrained and latency-sensitive systems. We demonstrate a classification latency in the order of milliseconds using typical flight computer hardware. Accordingly, such a model can feed into the disturbance estimation component of an autonomous flight controller. In addition, data from unmanned aerial vehicles with the ability to accurately determine environmental conditions in real time may contribute to developing more granular timely localised weather forecasting.