FA-Depth: Toward Fast and Accurate Self-supervised Monocular Depth Estimation

📄 arXiv: 2405.10885v3 📥 PDF

作者: Fei Wang, Jun Cheng

分类: cs.CV

发布日期: 2024-05-17 (更新: 2024-08-12)

🔗 代码/项目: GITHUB

💡 一句话要点

FA-Depth：面向快速且精确的自监督单目深度估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 自监督学习 轻量级网络 知识迁移 深度学习

📋 核心要点

  1. 现有单目深度估计方法依赖复杂模型以提高精度，但推理速度慢，不利于部署。
  2. FA-Depth通过设计轻量级网络SmallDepth，并引入等价变换模块、金字塔损失和函数近似损失来提升精度。
  3. 实验表明，FA-Depth在KITTI数据集上实现了state-of-the-art的性能，同时保持了极高的推理速度。

📝 摘要（中文）

为了更好地平衡精度和速度，本文首先设计了基于稀疏性的SmallDepth模型。其次，为了在推理时复杂度不变的前提下，增强SmallDepth在训练期间的特征表示能力，提出了等价变换模块（ETM）。第三，为了提高固定SmallDepth的每一层感知不同上下文信息的能力，并提高SmallDepth对左右方向和光照变化的鲁棒性，提出了金字塔损失。第四，为了进一步提高SmallDepth的精度，利用提出的函数近似损失（APX）将预训练的HQDecv2中的知识迁移到SmallDepth，HQDecv2通过优化先前的HQDec来解决某些区域中的网格伪影。大量实验表明，每个提出的组件都提高了SmallDepth的精度，而没有改变推理期间SmallDepth的复杂度。所开发的方法在KITTI上实现了最先进的结果，推理速度超过每秒500帧，参数约为200万。

🔬 方法详解

问题定义：现有自监督单目深度估计方法为了追求更高的精度，往往采用复杂的网络结构，导致模型参数量大，推理速度慢，难以在实际场景中部署。因此，如何在保证精度的前提下，提高模型的推理速度，是本文要解决的核心问题。现有方法的痛点在于精度和速度难以兼顾。

核心思路：本文的核心思路是设计一个轻量级的深度估计网络SmallDepth，并通过一系列训练技巧来提升其精度，使其在参数量较小的情况下也能达到较高的性能。这些训练技巧包括等价变换模块（ETM）、金字塔损失和函数近似损失（APX）。这样设计的目的是在推理阶段保持SmallDepth的轻量级特性，从而保证速度，同时在训练阶段通过各种手段提升精度。

技术框架：FA-Depth的整体框架可以概括为：首先设计一个轻量级的深度估计网络SmallDepth；然后，使用等价变换模块（ETM）增强SmallDepth的特征表示能力；接着，使用金字塔损失提高SmallDepth对不同上下文信息的感知能力和鲁棒性；最后，使用函数近似损失（APX）将预训练的HQDecv2模型的知识迁移到SmallDepth。整个流程旨在提升SmallDepth的精度，同时保持其轻量级特性。

关键创新：本文最重要的技术创新点在于提出了一系列针对轻量级深度估计网络的训练技巧，包括等价变换模块（ETM）、金字塔损失和函数近似损失（APX）。这些技巧能够在不增加推理复杂度的情况下，显著提升轻量级网络的精度。与现有方法相比，FA-Depth更注重精度和速度的平衡，通过轻量级网络和高效的训练策略，实现了更快的推理速度和更高的精度。

关键设计：等价变换模块（ETM）的具体实现细节未知，但其目的是在训练阶段增强特征表示能力，而在推理阶段不增加计算负担。金字塔损失的设计旨在利用不同尺度的特征信息，提高模型对不同上下文信息的感知能力。函数近似损失（APX）通过将预训练的HQDecv2模型的知识迁移到SmallDepth，来提高SmallDepth的精度，HQDecv2通过优化先前的HQDec来解决某些区域中的网格伪影。损失函数的具体形式和参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FA-Depth在KITTI数据集上取得了state-of-the-art的性能，同时保持了极高的推理速度，超过每秒500帧。该方法仅使用约200万个参数，相比于其他深度估计方法，具有显著的优势。实验结果表明，每个提出的组件都对精度的提升做出了贡献。

🎯 应用场景

FA-Depth具有广泛的应用前景，例如在自动驾驶、机器人导航、增强现实等领域。其快速的推理速度和较高的精度使其能够满足实时性要求较高的应用场景。未来，该方法可以进一步扩展到其他视觉任务中，例如目标检测、语义分割等，为相关领域的发展做出贡献。

📄 摘要（原文）

Most existing methods often rely on complex models to predict scene depth with high accuracy, resulting in slow inference that is not conducive to deployment. To better balance precision and speed, we first designed SmallDepth based on sparsity. Second, to enhance the feature representation ability of SmallDepth during training under the condition of equal complexity during inference, we propose an equivalent transformation module(ETM). Third, to improve the ability of each layer in the case of a fixed SmallDepth to perceive different context information and improve the robustness of SmallDepth to the left-right direction and illumination changes, we propose pyramid loss. Fourth, to further improve the accuracy of SmallDepth, we utilized the proposed function approximation loss (APX) to transfer knowledge in the pretrained HQDecv2, obtained by optimizing the previous HQDec to address grid artifacts in some regions, to SmallDepth. Extensive experiments demonstrate that each proposed component improves the precision of SmallDepth without changing the complexity of SmallDepth during inference, and the developed approach achieves state-of-the-art results on KITTI at an inference speed of more than 500 frames per second and with approximately 2 M parameters. The code and models will be publicly available at https://github.com/fwucas/FA-Depth.