Fast Object Detection with a Machine Learning Edge Device

📄 arXiv: 2410.04173v1 📥 PDF

作者: Richard C. Rodriguez, Jonah Elijah P. Bardos

分类: cs.RO, cs.CV

发布日期: 2024-10-05

💡 一句话要点

利用Edge TPU加速人形机器人目标检测与分类，显著降低推理时间。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 目标检测 边缘计算 Edge TPU 嵌入式系统 人形机器人

📋 核心要点

  1. 现有方法在嵌入式系统中进行目标检测时，推理速度慢、功耗高，难以满足实时性要求。
  2. 本研究探索使用Edge TPU等边缘设备加速目标检测，旨在降低推理时间和功耗，提升嵌入式系统的性能。
  3. 实验结果表明，Edge TPU相比CPU和GPU，能够显著降低推理时间，为实时目标检测提供可能。

📝 摘要（中文）

本研究探讨了集成低成本边缘设备与嵌入式系统的计算机视觉应用，旨在提升目标检测和分类的推理速度和精度。研究重点是降低推理时间和功耗，以支持竞赛级自主人形机器人的实时目标识别、场景理解、视觉导航、运动规划和自主导航。论文比较了中央处理器(CPU)、图形处理器(GPU)和张量处理器(TPU)在推理时间性能方面的差异。此外，还考察了单目视觉和立体视觉相机在自主人形机器人应用中的性能差异。研究结果表明，TPU的推理时间比GPU减少了25%，比CPU减少了87.5%。论文重点介绍了谷歌Coral Edge TPU设备的选择过程。Arduino Nano 33 BLE Sense Tiny ML Kit也被考虑用于比较，但由于初始不兼容以及完成研究的时间限制，决定在未来的实验中对其进行评估。

🔬 方法详解

问题定义：论文旨在解决在资源受限的嵌入式系统中，目标检测和分类推理速度慢的问题。现有方法，如使用CPU或GPU进行推理，在功耗和延迟方面存在瓶颈，难以满足实时性要求，尤其是在人形机器人等需要快速响应的应用中。

核心思路：论文的核心思路是利用专门设计的边缘计算设备（Edge TPU）来加速目标检测和分类的推理过程。Edge TPU针对张量计算进行了优化，能够在低功耗下实现高性能的推理，从而解决现有方法的痛点。

技术框架：论文采用对比实验的方法，比较了CPU、GPU和Edge TPU在目标检测推理时间上的性能差异。研究首先选择合适的硬件平台（包括CPU、GPU和Edge TPU），然后使用相同的数据集和模型进行推理测试，最后分析和比较不同硬件平台的推理时间。此外，论文还初步考察了单目视觉和立体视觉对目标检测的影响。

关键创新：论文的关键创新在于探索了Edge TPU在加速嵌入式系统目标检测方面的潜力，并提供了实际的性能数据。与传统CPU和GPU相比，Edge TPU在推理速度和功耗方面具有显著优势，为嵌入式系统的实时目标检测提供了新的解决方案。

关键设计：论文侧重于不同硬件平台的性能比较，并未详细描述具体的网络结构、损失函数或参数设置。选择Google Coral Edge TPU是基于其在低功耗和高性能方面的优势。未来的研究可以进一步探索如何优化网络结构和参数，以充分发挥Edge TPU的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Edge TPU的推理时间比GPU减少了25%，比CPU减少了87.5%。这一显著的性能提升表明，Edge TPU在加速嵌入式系统目标检测方面具有巨大的潜力，为实时应用提供了可行的解决方案。

🎯 应用场景

该研究成果可应用于各种需要实时目标检测的嵌入式系统，例如：自主机器人、智能监控、智能交通等。通过使用Edge TPU等边缘计算设备，可以降低系统的功耗和延迟，提高系统的响应速度和可靠性，从而实现更智能化的应用。

📄 摘要（原文）

This machine learning study investigates a lowcost edge device integrated with an embedded system having computer vision and resulting in an improved performance in inferencing time and precision of object detection and classification. A primary aim of this study focused on reducing inferencing time and low-power consumption and to enable an embedded device of a competition-ready autonomous humanoid robot and to support real-time object recognition, scene understanding, visual navigation, motion planning, and autonomous navigation of the robot. This study compares processors for inferencing time performance between a central processing unit (CPU), a graphical processing unit (GPU), and a tensor processing unit (TPU). CPUs, GPUs, and TPUs are all processors that can be used for machine learning tasks. Related to the aim of supporting an autonomous humanoid robot, there was an additional effort to observe whether or not there was a significant difference in using a camera having monocular vision versus stereo vision capability. TPU inference time results for this study reflect a 25% reduction in time over the GPU, and a whopping 87.5% reduction in inference time compared to the CPU. Much information in this paper is contributed to the final selection of Google's Coral brand, Edge TPU device. The Arduino Nano 33 BLE Sense Tiny ML Kit was also considered for comparison but due to initial incompatibilities and in the interest of time to complete this study, a decision was made to review the kit in a future experiment.