EdgeFlowNet: 100FPS@1W Dense Optical Flow For Tiny Mobile Robots

📄 arXiv: 2411.14576v2 📥 PDF

作者: Sai Ramana Kiran Pinnama Raju, Rishabh Singh, Manoj Velmurugan, Nitin J. Sanket

分类: cs.RO

发布日期: 2024-11-21 (更新: 2025-02-12)

备注: https://pear.wpi.edu/research/edgeflownet.html

💡 一句话要点

EdgeFlowNet：为微型移动机器人设计的100FPS@1W稠密光流算法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光流估计 微型机器人 边缘计算 自主导航 低功耗

📋 核心要点

  1. 微型机器人光流估计面临板载资源有限的挑战，现有方法难以兼顾速度、精度和功耗。
  2. EdgeFlowNet利用边缘计算，设计高速低延迟的光流算法，专门针对微型机器人的资源约束。
  3. 实验表明，EdgeFlowNet在微型四旋翼上实现了高速、高精度和低功耗的光流估计，并验证了其在自主导航中的有效性。

📝 摘要（中文）

本文提出EdgeFlowNet，一种高速、低延迟的稠密光流方法，旨在利用边缘计算能力为微型自主移动机器人提供支持。光流估计对于微型移动机器人至关重要，它能实现安全精确的导航、避障和其他功能。然而，由于有限的板载传感和计算能力，在微型机器人上进行光流估计极具挑战性。通过在微型四旋翼飞行器上部署EdgeFlowNet，我们展示了该方法在静态避障、穿越未知间隙和躲避动态障碍物方面的有效性。EdgeFlowNet比之前的最先进方法快约20倍，同时精度提高了20%以上，并且仅消耗1.08W的功率，从而能够在掌上大小的微型移动机器人上实现高级自主。

🔬 方法详解

问题定义：论文旨在解决微型移动机器人在资源受限情况下进行实时、高精度光流估计的问题。现有方法通常计算复杂度高，难以在微型机器人的有限计算资源上实现实时性，或者为了追求速度而牺牲精度，无法满足自主导航等应用的需求。此外，功耗也是一个重要限制，高功耗的光流算法会缩短机器人的续航时间。

核心思路：EdgeFlowNet的核心思路是利用边缘计算的优势，将计算密集型的光流估计任务卸载到边缘设备上进行，从而减轻微型机器人的计算负担。同时，针对边缘计算的特点，设计高效的光流算法，在保证精度的前提下，最大限度地提高计算速度和降低功耗。

技术框架：EdgeFlowNet的整体框架包括图像采集、图像预处理、光流估计和后处理四个主要阶段。首先，通过微型机器人上的摄像头采集图像。然后，对图像进行预处理，例如去噪、增强对比度等。接下来，使用EdgeFlowNet算法进行光流估计，得到稠密的光流场。最后，对光流场进行后处理，例如平滑、滤波等，以提高光流的质量。

关键创新：EdgeFlowNet的关键创新在于其高效的光流估计网络结构和针对边缘计算的优化策略。该网络结构采用了轻量化的设计，减少了参数数量和计算量，从而提高了计算速度。同时，该算法还采用了多种优化策略，例如量化、剪枝等，进一步降低了功耗。

关键设计：EdgeFlowNet的网络结构基于卷积神经网络，采用了多尺度特征提取和金字塔式光流估计。损失函数包括光流平滑损失、数据损失和遮挡损失。为了进一步提高计算速度，该算法还采用了8位整数量化，将浮点运算转换为整数运算，从而降低了计算复杂度和功耗。此外，还使用了网络剪枝技术，移除了网络中不重要的连接，进一步减少了参数数量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EdgeFlowNet在微型四旋翼飞行器上进行了实验验证，结果表明，该算法能够以100FPS的速度进行稠密光流估计，功耗仅为1.08W。与之前的最先进方法相比，EdgeFlowNet的速度提高了约20倍，精度提高了20%以上。这些结果表明，EdgeFlowNet是一种高效、低功耗的光流算法，能够为微型移动机器人提供强大的自主能力。

🎯 应用场景

EdgeFlowNet在微型移动机器人领域具有广泛的应用前景，例如自主导航、避障、目标跟踪、视觉伺服等。该技术可以应用于微型无人机、微型地面机器人等平台，为这些平台提供更强大的自主能力。此外，EdgeFlowNet还可以应用于其他资源受限的场景，例如智能摄像头、可穿戴设备等。

📄 摘要（原文）

Optical flow estimation is a critical task for tiny mobile robotics to enable safe and accurate navigation, obstacle avoidance, and other functionalities. However, optical flow estimation on tiny robots is challenging due to limited onboard sensing and computation capabilities. In this paper, we propose EdgeFlowNet , a high-speed, low-latency dense optical flow approach for tiny autonomous mobile robots by harnessing the power of edge computing. We demonstrate the efficacy of our approach by deploying EdgeFlowNet on a tiny quadrotor to perform static obstacle avoidance, flight through unknown gaps and dynamic obstacle dodging. EdgeFlowNet is about 20 faster than the previous state-of-the-art approaches while improving accuracy by over 20% and using only 1.08W of power enabling advanced autonomy on palm-sized tiny mobile robots.