Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces
作者: Junrui Zhang, Jiaqi Li, Yachuan Huang, Yiran Wang, Jinghong Zheng, Liao Shen, Zhiguo Cao
分类: cs.CV
发布日期: 2024-08-12
💡 一句话要点
提出非朗伯表面区域引导的单目深度估计方法，提升透明/镜面场景的鲁棒性。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 单目深度估计 非朗伯表面 透明物体 镜面反射 区域引导 光照增强 变分自编码器
📋 核心要点
- 现有单目深度估计模型在通用场景表现出色，但在透明或镜面等非朗伯表面上预测效果不佳。
- 论文提出非朗伯表面区域引导，从梯度域约束深度估计模型的预测，增强其对非朗伯表面的鲁棒性。
- 实验结果表明，该方法在非朗伯表面深度估计任务上取得了显著的性能提升，尤其是在零样本测试中。
📝 摘要（中文）
本文致力于提升单目深度估计（MDE）模型在非朗伯表面上的鲁棒性，尤其是在透明或镜面（ToM）表面。现有方法通常依赖外部提供的ToM掩码，并通过图像修复来获得正确的深度图，但这些方法依赖于掩码的准确性，且修复过程中的随机颜色使用导致鲁棒性不足。本文提出非朗伯表面区域引导，通过梯度域约束MDE模型的预测，增强其鲁棒性。考虑到光照对该任务的影响，本文采用随机色调映射增强训练，确保网络能预测不同光照条件下的正确结果。此外，本文还提出了一个可选的新型光照融合模块，当有多曝光图像可用时，该模块使用变分自编码器融合多张图像，获得最有利的输入RGB图像用于深度估计。实验结果表明，与Depth Anything V2相比，本文方法在Booster和Mirror3D数据集上对非朗伯表面的零样本测试中，准确率分别提高了33.39%和5.21%。在TRICKY2024竞赛测试集上，ToM区域内的delta1.05指标达到了90.75，证明了该方法的有效性。
🔬 方法详解
问题定义：单目深度估计模型在处理具有特殊反射属性的非朗伯表面（如透明和镜面）时，性能显著下降。现有方法依赖于额外的非朗伯表面掩码，并采用图像修复技术，但这些方法对掩码的精度要求高，且修复过程引入的随机性影响了鲁棒性。因此，需要一种能够直接学习非朗伯表面特性，且无需额外掩码的深度估计方法。
核心思路：论文的核心思路是通过在训练过程中引入非朗伯表面区域引导，使模型能够学习到这些区域的独特属性，从而提高深度估计的准确性和鲁棒性。此外，考虑到光照条件对非朗伯表面的影响，论文还采用了随机色调映射增强方法，以提高模型对不同光照条件的适应性。对于多曝光图像，则使用光照融合模块选择最佳输入。
技术框架：该方法主要包含三个关键组成部分：1) 非朗伯表面区域引导模块，用于约束模型在非朗伯表面的深度预测；2) 随机色调映射增强模块，用于提高模型对不同光照条件的鲁棒性；3) 可选的光照融合模块，利用变分自编码器融合多曝光图像，选择最佳输入。整体流程是，首先使用随机色调映射增强RGB图像，然后将其输入到单目深度估计模型中，模型的输出受到非朗伯表面区域引导的约束，最终得到深度图。如果有多曝光图像可用，则先通过光照融合模块选择最佳输入。
关键创新：该方法的主要创新点在于：1) 提出了非朗伯表面区域引导，通过梯度域约束，使模型能够学习到非朗伯表面的独特属性，而无需依赖额外的掩码信息；2) 采用了随机色调映射增强，提高了模型对不同光照条件的鲁棒性；3) 提出了基于变分自编码器的光照融合模块，能够有效地利用多曝光图像的信息。与现有方法相比，该方法能够更有效地处理非朗伯表面的深度估计问题，且具有更高的鲁棒性。
关键设计：非朗伯表面区域引导的具体实现方式未知，但可以推测其可能涉及到对深度图梯度信息的约束，例如，可以设计一个损失函数，惩罚非朗伯表面区域深度梯度的异常变化。随机色调映射增强的具体参数设置未知，但其目的是模拟不同的光照条件。光照融合模块使用变分自编码器，其具体结构和训练方式未知，但其目的是学习多曝光图像之间的关系，并选择最佳输入。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在Booster和Mirror3D数据集上对非朗伯表面的零样本测试中，准确率分别提高了33.39%和5.21%（与Depth Anything V2相比）。在TRICKY2024竞赛测试集上，ToM区域内的delta1.05指标达到了90.75，显著优于其他方法，证明了该方法在非朗伯表面深度估计方面的有效性。
🎯 应用场景
该研究成果可应用于机器人导航、自动驾驶、三维重建等领域，尤其是在需要处理包含透明或镜面物体的复杂场景中。例如，机器人可以在厨房环境中识别玻璃杯、镜子等物体，并准确估计其深度，从而避免碰撞。自动驾驶系统可以更好地理解周围环境，提高行驶安全性。该研究的未来影响在于，可以推动单目深度估计技术在更广泛的实际应用中落地。
📄 摘要（原文）
In the field of monocular depth estimation (MDE), many models with excellent zero-shot performance in general scenes emerge recently. However, these methods often fail in predicting non-Lambertian surfaces, such as transparent or mirror (ToM) surfaces, due to the unique reflective properties of these regions. Previous methods utilize externally provided ToM masks and aim to obtain correct depth maps through direct in-painting of RGB images. These methods highly depend on the accuracy of additional input masks, and the use of random colors during in-painting makes them insufficiently robust. We are committed to incrementally enabling the baseline model to directly learn the uniqueness of non-Lambertian surface regions for depth estimation through a well-designed training framework. Therefore, we propose non-Lambertian surface regional guidance, which constrains the predictions of MDE model from the gradient domain to enhance its robustness. Noting the significant impact of lighting on this task, we employ the random tone-mapping augmentation during training to ensure the network can predict correct results for varying lighting inputs. Additionally, we propose an optional novel lighting fusion module, which uses Variational Autoencoders to fuse multiple images and obtain the most advantageous input RGB image for depth estimation when multi-exposure images are available. Our method achieves accuracy improvements of 33.39% and 5.21% in zero-shot testing on the Booster and Mirror3D dataset for non-Lambertian surfaces, respectively, compared to the Depth Anything V2. The state-of-the-art performance of 90.75 in delta1.05 within the ToM regions on the TRICKY2024 competition test set demonstrates the effectiveness of our approach.