AugUndo: Scaling Up Augmentations for Monocular Depth Completion and Estimation

📄 arXiv: 2310.09739v3 📥 PDF

作者: Yangchao Wu, Tian Yu Liu, Hyoungseob Park, Stefano Soatto, Dong Lao, Alex Wong

分类: cs.CV

发布日期: 2023-10-15 (更新: 2024-07-20)

🔗 代码/项目: GITHUB

💡 一句话要点

提出AugUndo以解决单目深度补全与估计中的数据增强问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 深度补全 无监督学习 数据增强 几何变换 深度估计 计算机视觉 机器人导航

📋 核心要点

  1. 现有无监督深度补全方法在数据增强上受到限制，常见的增强方式会导致重建质量下降。
  2. 本文提出了一种通过逆转几何变换的方法，使得多种几何增强得以应用于深度补全与估计。
  3. 在VOID和KITTI数据集上，所提方法在性能上均优于现有技术，并且在其他数据集上也展现了良好的泛化能力。

📝 摘要（中文）

无监督深度补全与估计方法通过最小化重建误差进行训练。然而，常见的数据增强方案会导致重采样、强度饱和和遮挡等块状伪影，从而影响图像重建质量及训练信号。本文提出了一种方法，通过逆转几何变换，将深度图回归到原始参考框架，从而计算重建损失。这一方法使得以往不可行的几何增强得以实现，进而提升了深度补全与估计的性能。实验结果表明，在VOID和KITTI数据集上均取得了显著的性能提升，并在四个其他数据集上展现了良好的泛化能力。

🔬 方法详解

问题定义：本文旨在解决无监督深度补全与估计中，现有数据增强方法导致的重建质量下降问题。传统方法在图像增强时，常常引入块状伪影和其他不良影响，限制了增强的有效性。

核心思路：论文提出的核心思路是通过逆转几何变换，将深度图回归到原始参考框架，从而避免在增强输入上计算损失。这种设计使得可以安全地应用多种几何增强，而不影响重建质量。

技术框架：整体架构包括数据增强模块和重建损失计算模块。首先对输入图像和稀疏深度图进行几何变换，然后通过逆变换将深度图恢复，最后计算重建损失以优化模型。

关键创新：最重要的技术创新在于提出了“逆转几何变换”的方法，使得多种几何增强成为可能。这一方法与传统的直接在增强图像上计算损失的方式有本质区别，避免了重建质量的下降。

关键设计：在损失函数设计上，采用了基于原始图像和稀疏深度图的重建损失计算方式，确保了损失计算的准确性。此外，网络结构方面，保持了与现有无监督深度估计方法的兼容性，以便于集成与应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在VOID和KITTI数据集上，所提方法在深度补全任务中相较于最新方法均有显著提升，具体表现为在KITTI数据集上，性能提升幅度达到XX%，在VOID数据集上提升幅度达到YY%。此外，该方法在四个其他数据集上也展现了良好的泛化能力，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等场景。在这些应用中，准确的深度信息对于环境理解和决策至关重要。通过提升深度补全与估计的性能，AugUndo有望在实际应用中提供更高的精度和可靠性，推动相关技术的发展。

📄 摘要（原文）

Unsupervised depth completion and estimation methods are trained by minimizing reconstruction error. Block artifacts from resampling, intensity saturation, and occlusions are amongst the many undesirable by-products of common data augmentation schemes that affect image reconstruction quality, and thus the training signal. Hence, typical augmentations on images viewed as essential to training pipelines in other vision tasks have seen limited use beyond small image intensity changes and flipping. The sparse depth modality in depth completion have seen even less use as intensity transformations alter the scale of the 3D scene, and geometric transformations may decimate the sparse points during resampling. We propose a method that unlocks a wide range of previously-infeasible geometric augmentations for unsupervised depth completion and estimation. This is achieved by reversing, or ``undo''-ing, geometric transformations to the coordinates of the output depth, warping the depth map back to the original reference frame. This enables computing the reconstruction losses using the original images and sparse depth maps, eliminating the pitfalls of naive loss computation on the augmented inputs and allowing us to scale up augmentations to boost performance. We demonstrate our method on indoor (VOID) and outdoor (KITTI) datasets, where we consistently improve upon recent methods across both datasets as well as generalization to four other datasets. Code available at: https://github.com/alexklwong/augundo.