Low Latency Visual Inertial Odometry with On-Sensor Accelerated Optical Flow for Resource-Constrained UAVs

📄 arXiv: 2406.13345v1 📥 PDF

作者: Jonas Kühne, Michele Magno, Luca Benini

分类: cs.CV, eess.IV

发布日期: 2024-06-19

备注: This article has been accepted for publication in the IEEE Sensors Journal (JSEN)

DOI: 10.1109/JSEN.2024.3406948

💡 一句话要点

针对资源受限无人机，提出基于片上加速光流的低延迟视觉惯性里程计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉惯性里程计 光流 片上传感器 硬件加速 低延迟 无人机 资源受限

📋 核心要点

  1. 现有VIO方法计算光流需要大量计算资源，限制了其在资源受限设备上的应用。
  2. 该论文提出使用片上硬件加速的光流传感器，以降低VIO系统的延迟和计算负载。
  3. 实验表明，该方法显著降低了VIO流水线的延迟和计算负载，提高了运行帧率。

📝 摘要（中文）

视觉惯性里程计(VIO)旨在通过融合机载摄像头数据和惯性测量单元(IMU)数据来估计智能体的运动轨迹。VIO中的一个关键子任务是特征跟踪，这可以通过光流(OF)来实现。由于OF的计算在计算负载和内存占用方面都是资源密集型的，并且需要在低延迟下执行，尤其是在机器人应用中，因此OF估计目前主要在强大的CPU或GPU上进行。这限制了其在广泛应用中的使用，因为在这些应用中，由于成本、尺寸和功耗的限制，部署此类强大的处理器是不可行的。片上传感器硬件加速是一种很有前途的方法，即使在纳米无人机等资源受限的设备上也能实现低延迟VIO。本文评估了一个VIO传感器系统的加速效果，该系统利用了一个紧凑的OF传感器，该传感器由全局快门相机和专用集成电路(ASIC)组成。通过用来自该OF相机的数据替换VINS-Mono流水线的特征跟踪逻辑，我们证明了VIO流水线的延迟降低了49.4%，计算负载降低了53.7%，从而使VINS-Mono在树莓派计算模块4的四核ARM Cortex-A72处理器上能够以高达50 FPS的速度运行，而不是原来的20 FPS。

🔬 方法详解

问题定义：论文旨在解决资源受限的无人机等设备上，传统VIO算法因光流计算量大而导致延迟高、功耗大的问题。现有方法依赖于强大的CPU或GPU进行光流计算，这在成本、尺寸和功耗方面都存在限制。

核心思路：论文的核心思路是利用片上硬件加速的光流传感器，将光流计算卸载到传感器端，从而降低主处理器的计算负担，实现低延迟、低功耗的VIO。这种方法避免了在主处理器上进行复杂的图像处理，从而节省了计算资源和能量。

技术框架：该VIO系统主要由一个全局快门相机和一个集成了光流计算ASIC的传感器组成。VINS-Mono作为后端优化器，其特征跟踪模块被替换为来自光流传感器的数据。整体流程为：光流传感器采集图像并进行光流计算，然后将光流数据传递给VINS-Mono进行位姿估计和地图构建。

关键创新：该论文的关键创新在于使用片上硬件加速的光流传感器来替代传统的软件光流计算方法。这种方法将计算密集型的光流计算转移到传感器端，从而显著降低了主处理器的计算负担，实现了低延迟和低功耗的VIO。与现有方法相比，该方法不需要强大的CPU或GPU，更适合于资源受限的设备。

关键设计：论文的关键设计在于光流传感器的ASIC设计，该ASIC针对光流计算进行了优化，能够高效地进行特征提取和匹配。此外，论文还对VINS-Mono进行了修改，使其能够有效地利用来自光流传感器的数据。具体的参数设置和损失函数等技术细节在论文中没有详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过使用片上加速光流传感器，VIO流水线的延迟降低了49.4%，计算负载降低了53.7%。在树莓派计算模块4的四核ARM Cortex-A72处理器上，VINS-Mono能够以高达50 FPS的速度运行，而不是原来的20 FPS。这些数据表明，该方法能够显著提高VIO系统的性能，使其更适合于资源受限的应用。

🎯 应用场景

该研究成果可应用于资源受限的无人机、机器人、AR/VR设备等领域。通过降低VIO系统的延迟和功耗，可以提高这些设备的自主导航能力和续航时间，扩展其应用范围。例如，在室内导航、环境监测、物流配送等场景中，低延迟、低功耗的VIO系统可以提供更可靠、更高效的定位和导航服务。

📄 摘要（原文）

Visual Inertial Odometry (VIO) is the task of estimating the movement trajectory of an agent from an onboard camera stream fused with additional Inertial Measurement Unit (IMU) measurements. A crucial subtask within VIO is the tracking of features, which can be achieved through Optical Flow (OF). As the calculation of OF is a resource-demanding task in terms of computational load and memory footprint, which needs to be executed at low latency, especially in robotic applications, OF estimation is today performed on powerful CPUs or GPUs. This restricts its use in a broad spectrum of applications where the deployment of such powerful, power-hungry processors is unfeasible due to constraints related to cost, size, and power consumption. On-sensor hardware acceleration is a promising approach to enable low latency VIO even on resource-constrained devices such as nano drones. This paper assesses the speed-up in a VIO sensor system exploiting a compact OF sensor consisting of a global shutter camera and an Application Specific Integrated Circuit (ASIC). By replacing the feature tracking logic of the VINS-Mono pipeline with data from this OF camera, we demonstrate a 49.4% reduction in latency and a 53.7% reduction of compute load of the VIO pipeline over the original VINS-Mono implementation, allowing VINS-Mono operation up to 50 FPS instead of 20 FPS on the quad-core ARM Cortex-A72 processor of a Raspberry Pi Compute Module 4.