A Two-Stage Masked Autoencoder Based Network for Indoor Depth Completion

📄 arXiv: 2406.09792v1 📥 PDF

作者: Kailai Sun, Zhou Yang, Qianchuan Zhao

分类: cs.CV

发布日期: 2024-06-14

备注: Accepted by 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshop

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于双阶段掩码自编码器的深度补全网络，提升复杂室内场景深度补全效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 深度补全 掩码自编码器 Transformer 自监督学习 室内场景 三维重建

📋 核心要点

  1. 现有深度补全方法在复杂室内场景中性能受限，难以有效处理缺失深度值。
  2. 采用基于掩码自编码器的自监督预训练编码器，学习缺失深度值的有效潜在表示。
  3. 提出的网络在Matterport3D数据集上取得了state-of-the-art的性能，并应用于室内三维重建。

📝 摘要（中文）

深度图像在三维重建、自动驾驶、增强现实、机器人导航和场景理解等领域有着广泛的应用。然而，消费级深度相机难以感知明亮、光滑、透明和遥远表面的深度。尽管现有的深度补全方法已经取得了显著进展，但当应用于复杂的室内场景时，它们的性能受到限制。为了解决这些问题，我们提出了一种基于Transformer的两阶段网络用于室内深度补全。与现有的深度补全方法不同，我们采用基于掩码自编码器的自监督预训练编码器，以学习缺失深度值的有效潜在表示；然后，我们提出了一个基于token融合机制的解码器，以从联合RGB和不完整深度图像中补全（即重建）完整的深度。与现有方法相比，我们提出的网络在Matterport3D数据集上实现了最先进的性能。此外，为了验证深度补全任务的重要性，我们将我们的方法应用于室内三维重建。代码、数据集和演示可在https://github.com/kailaisun/Indoor-Depth-Completion获得。

🔬 方法详解

问题定义：论文旨在解决复杂室内场景下的深度补全问题。现有方法在处理此类场景时，由于光照、材质等因素的影响，深度信息缺失严重，导致补全效果不佳。现有方法难以有效提取和利用RGB图像和不完整深度图中的信息，从而限制了补全精度。

核心思路：论文的核心思路是利用掩码自编码器（MAE）进行自监督预训练，从而学习到更鲁棒的深度特征表示。通过两阶段的网络结构，首先利用MAE提取深度特征，然后利用token融合机制的解码器进行深度补全，从而提高补全的准确性和鲁棒性。

技术框架：该网络由两个主要阶段组成：1) 基于掩码自编码器的编码器：该编码器通过自监督学习，从不完整的深度图中学习深度特征表示。2) 基于token融合机制的解码器：该解码器将编码器提取的深度特征与RGB图像特征进行融合，然后重建完整的深度图。整体流程为：输入RGB图像和不完整深度图 -> 编码器提取特征 -> 解码器融合特征并重建深度图 -> 输出完整深度图。

关键创新：该论文的关键创新在于以下几点：1) 采用掩码自编码器进行自监督预训练，从而学习到更鲁棒的深度特征表示。2) 提出了一种基于token融合机制的解码器，能够有效地融合RGB图像和深度图的特征。3) 提出了一个两阶段的网络结构，能够有效地进行深度补全。与现有方法相比，该方法能够更好地处理复杂室内场景下的深度补全问题。

关键设计：编码器采用Transformer结构，并使用掩码策略进行自监督预训练。解码器采用Transformer结构，并使用token融合机制融合RGB图像和深度图的特征。损失函数包括深度重建损失和正则化损失。具体的参数设置和网络结构细节在论文中有详细描述。训练过程中，使用了Adam优化器，并设置了合适的学习率和batch size。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该论文提出的方法在Matterport3D数据集上取得了state-of-the-art的性能。实验结果表明，该方法能够有效地补全复杂室内场景下的深度信息，并显著优于现有的深度补全方法。通过将该方法应用于室内三维重建，验证了其在实际应用中的有效性。

🎯 应用场景

该研究成果可应用于室内三维重建、机器人导航、增强现实和虚拟现实等领域。高质量的深度补全能够提升三维场景的感知能力，为机器人提供更准确的环境信息，增强AR/VR应用的沉浸感和交互性。未来，该技术有望应用于智能家居、自动驾驶等领域，具有广阔的应用前景。

📄 摘要（原文）

Depth images have a wide range of applications, such as 3D reconstruction, autonomous driving, augmented reality, robot navigation, and scene understanding. Commodity-grade depth cameras are hard to sense depth for bright, glossy, transparent, and distant surfaces. Although existing depth completion methods have achieved remarkable progress, their performance is limited when applied to complex indoor scenarios. To address these problems, we propose a two-step Transformer-based network for indoor depth completion. Unlike existing depth completion approaches, we adopt a self-supervision pre-training encoder based on the masked autoencoder to learn an effective latent representation for the missing depth value; then we propose a decoder based on a token fusion mechanism to complete (i.e., reconstruct) the full depth from the jointly RGB and incomplete depth image. Compared to the existing methods, our proposed network, achieves the state-of-the-art performance on the Matterport3D dataset. In addition, to validate the importance of the depth completion task, we apply our methods to indoor 3D reconstruction. The code, dataset, and demo are available at https://github.com/kailaisun/Indoor-Depth-Completion.