SPAQ-DL-SLAM: Towards Optimizing Deep Learning-based SLAM for Resource-Constrained Embedded Platforms

📄 arXiv: 2409.14515v1 📥 PDF

作者: Niraj Pudasaini, Muhammad Abdullah Hanif, Muhammad Shafique

分类: cs.RO, cs.CV, cs.LG

发布日期: 2024-09-22

备注: To appear at the 18th International Conference on Control, Automation, Robotics and Vision (ICARCV), December 2024, Dubai, UAE

💡 一句话要点

SPAQ-DL-SLAM：面向资源受限平台的深度学习SLAM优化框架

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 深度学习SLAM 模型优化 结构化剪枝 后训练量化 资源受限平台

📋 核心要点

  1. 现有DL-SLAM算法在资源受限平台上部署面临挑战，需要优化以满足实时性和能效需求。
  2. SPAQ-DL-SLAM框架通过结构化剪枝和量化策略，有效压缩模型大小并降低计算复杂度。
  3. 实验表明，优化后的模型在多个数据集上性能提升，但在高动态场景下仍有改进空间。

📝 摘要（中文）

本文提出了SPAQ-DL-SLAM框架，旨在优化基于深度学习的SLAM算法，使其能够在资源受限的嵌入式平台上高效运行，从而实现自主移动机器人的实时车载计算。该框架针对最先进的DL-SLAM算法DROID-SLAM，战略性地应用了结构化剪枝和量化（SPAQ）技术。具体而言，我们首先进行基于层敏感度分析的结构化剪枝，然后对DROID-SLAM中的深度学习模块进行8位后训练静态量化（PTQ），并进行微调。实验结果表明，经过20%结构化剪枝和8位PTQ优化的SPAQ-DROID-SLAM模型，相比DROID-SLAM模型，FLOPs减少了18.9%，模型整体大小减少了79.8%。在TUM-RGBD基准测试中，SPAQ-DROID-SLAM模型的绝对轨迹误差（ATE）平均优于DROID-SLAM模型10.5%。在ETH3D SLAM训练基准测试中，SPAQ-DROID-SLAM模型表现出更强的泛化能力，AUC得分更高，并且在另外两个数据序列上取得了成功。然而，该模型在EuRoC数据集中的Vicon Room序列上表现出性能差异，这些序列是在高角速度下捕获的。这种在某些特定场景下的性能变化表明，设计DL-SLAM算法时，考虑到运行环境和任务，可以实现最佳性能和资源效率，从而部署在资源受限的嵌入式平台上。

🔬 方法详解

问题定义：论文旨在解决深度学习SLAM算法在资源受限的嵌入式平台上部署时面临的计算量大、模型体积大的问题。现有方法难以在保证精度的同时，满足嵌入式平台的实时性和能效要求。

核心思路：论文的核心思路是通过结构化剪枝和量化技术，在不显著降低SLAM精度的前提下，大幅度压缩模型大小，降低计算复杂度，从而使DL-SLAM算法能够在资源受限的平台上运行。这种方法旨在平衡模型性能和资源消耗。

技术框架：SPAQ-DL-SLAM框架主要包含以下几个阶段：1) 对DROID-SLAM模型进行层敏感度分析，确定可剪枝的层；2) 对选定的层进行结构化剪枝，移除不重要的神经元或通道；3) 对剪枝后的模型进行微调，以恢复精度；4) 对微调后的模型进行8位后训练静态量化（PTQ），进一步压缩模型大小。整个流程旨在逐步优化模型，使其更适合嵌入式平台。

关键创新：论文的关键创新在于将结构化剪枝和量化技术相结合，并针对DL-SLAM算法的特点进行了优化。通过层敏感度分析指导剪枝过程，避免了盲目剪枝可能导致的性能下降。此外，论文还关注了量化对SLAM精度的影响，并采取了相应的微调策略。

关键设计：论文采用了层敏感度分析来指导结构化剪枝，具体方法未知。量化方面，使用了8位后训练静态量化（PTQ），这是一种常见的量化方法，无需重新训练模型即可实现量化。剪枝比例设置为20%，这是一个经验值，可能需要根据具体应用场景进行调整。损失函数和网络结构沿用了DROID-SLAM的设计，没有进行显著修改。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SPAQ-DROID-SLAM模型通过20%结构化剪枝和8位PTQ，相比DROID-SLAM模型，FLOPs减少了18.9%，模型整体大小减少了79.8%。在TUM-RGBD基准测试中，SPAQ-DROID-SLAM模型的绝对轨迹误差（ATE）平均优于DROID-SLAM模型10.5%。在ETH3D SLAM训练基准测试中，SPAQ-DROID-SLAM模型表现出更强的泛化能力。

🎯 应用场景

该研究成果可应用于各种资源受限的移动机器人平台，例如无人机、扫地机器人、移动巡检机器人等。通过优化DL-SLAM算法，可以提高机器人的自主导航能力，扩展其应用范围，并降低硬件成本和功耗。未来，该技术有望在智能家居、智慧城市等领域发挥重要作用。

📄 摘要（原文）

Optimizing Deep Learning-based Simultaneous Localization and Mapping (DL-SLAM) algorithms is essential for efficient implementation on resource-constrained embedded platforms, enabling real-time on-board computation in autonomous mobile robots. This paper presents SPAQ-DL-SLAM, a framework that strategically applies Structured Pruning and Quantization (SPAQ) to the architecture of one of the state-ofthe-art DL-SLAM algorithms, DROID-SLAM, for resource and energy-efficiency. Specifically, we perform structured pruning with fine-tuning based on layer-wise sensitivity analysis followed by 8-bit post-training static quantization (PTQ) on the deep learning modules within DROID-SLAM. Our SPAQ-DROIDSLAM model, optimized version of DROID-SLAM model using our SPAQ-DL-SLAM framework with 20% structured pruning and 8-bit PTQ, achieves an 18.9% reduction in FLOPs and a 79.8% reduction in overall model size compared to the DROID-SLAM model. Our evaluations on the TUM-RGBD benchmark shows that SPAQ-DROID-SLAM model surpasses the DROID-SLAM model by an average of 10.5% on absolute trajectory error (ATE) metric. Additionally, our results on the ETH3D SLAM training benchmark demonstrate enhanced generalization capabilities of the SPAQ-DROID-SLAM model, seen by a higher Area Under the Curve (AUC) score and success in 2 additional data sequences compared to the DROIDSLAM model. Despite these improvements, the model exhibits performance variance on the distinct Vicon Room sequences from the EuRoC dataset, which are captured at high angular velocities. This varying performance at some distinct scenarios suggests that designing DL-SLAM algorithms taking operating environments and tasks in consideration can achieve optimal performance and resource efficiency for deployment in resource-constrained embedded platforms.