DepthDark: Robust Monocular Depth Estimation for Low-Light Environments

📄 arXiv: 2507.18243v1 📥 PDF

作者: Longjian Zeng, Zunjie Zhu, Rongfeng Lu, Ming Lu, Bolun Zheng, Chenggang Yan, Anke Xue

分类: cs.CV, cs.AI

发布日期: 2025-07-24

备注: Accepted by ACM MM 2025 conference

DOI: 10.1145/3746027.3754871

💡 一句话要点

DepthDark：面向低光环境的鲁棒单目深度估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单目深度估计 低光照环境 深度学习 数据增强 参数高效微调

📋 核心要点

  1. 现有单目深度估计模型在低光照环境下性能显著下降，缺乏针对性优化和高质量训练数据。
  2. DepthDark通过模拟夜间成像过程生成高质量配对深度数据集，并提出一种低光参数高效微调策略。
  3. 实验表明，DepthDark在nuScenes-Night和RobotCar-Night数据集上取得了领先的深度估计性能。

📝 摘要（中文）

近年来，单目深度估计的基础模型受到了越来越多的关注。目前的方法主要针对典型的日光条件，但在低光环境下的有效性显著降低。目前缺乏专门为低光场景设计的鲁棒单目深度估计基础模型。这主要是由于缺乏大规模、高质量的低光条件下的配对深度数据集以及有效的参数高效微调（PEFT）策略。为了解决这些挑战，我们提出了DepthDark，一个用于低光单目深度估计的鲁棒基础模型。我们首先引入了一个耀斑模拟模块和一个噪声模拟模块，以准确模拟夜间条件下的成像过程，从而生成高质量的低光条件下的配对深度数据集。此外，我们提出了一种有效的低光PEFT策略，该策略利用光照引导和多尺度特征融合来增强模型在低光环境中的能力。我们的方法在具有挑战性的nuScenes-Night和RobotCar-Night数据集上实现了最先进的深度估计性能，通过有限的训练数据和计算资源验证了其有效性。

🔬 方法详解

问题定义：现有的单目深度估计方法在光照充足的条件下表现良好，但在低光照环境下，由于图像质量下降（如噪声、模糊、光晕等），深度估计的准确性和鲁棒性会显著降低。缺乏大规模、高质量的低光照环境下的深度数据集，以及针对低光照环境的有效模型微调策略，是当前方法的主要痛点。

核心思路：DepthDark的核心思路是解决低光照环境下深度估计的数据和模型优化问题。首先，通过模拟真实夜间成像过程，生成高质量的合成低光照深度数据集。其次，设计一种参数高效的微调策略，利用光照信息引导模型学习，并融合多尺度特征，以增强模型在低光照环境下的深度感知能力。

技术框架：DepthDark的整体框架包含两个主要部分：数据生成和模型微调。数据生成部分包括耀斑模拟模块和噪声模拟模块，用于模拟夜间图像的各种伪影。模型微调部分采用参数高效微调（PEFT）策略，利用光照引导和多尺度特征融合来优化预训练的深度估计模型。

关键创新：DepthDark的关键创新在于：1) 提出了一种逼真的低光照数据生成方法，能够有效模拟夜间图像的各种伪影，从而生成高质量的训练数据。2) 设计了一种针对低光照环境的参数高效微调策略，该策略利用光照信息引导模型学习，并融合多尺度特征，从而有效提升模型在低光照环境下的深度估计性能。

关键设计：在数据生成方面，耀斑模拟模块和噪声模拟模块的具体参数设置（例如耀斑的形状、大小、强度，噪声的类型、强度等）需要根据实际夜间图像的统计特性进行调整。在模型微调方面，光照引导的具体实现方式（例如，将光照信息作为额外的输入通道，或者通过注意力机制引导特征学习），以及多尺度特征融合的具体方法（例如，使用特征金字塔网络，或者使用多尺度卷积核）是影响模型性能的关键因素。损失函数的设计也至关重要，需要考虑深度估计的误差类型，并选择合适的损失函数（例如，L1损失、L2损失、Huber损失等）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DepthDark在nuScenes-Night和RobotCar-Night数据集上取得了显著的性能提升，超越了现有的单目深度估计方法。具体而言，在nuScenes-Night数据集上，DepthDark的绝对相对误差（AbsRel）降低了X%，均方根误差（RMSE）降低了Y%。这些结果表明，DepthDark在低光照环境下的深度估计精度和鲁棒性得到了显著提升。

🎯 应用场景

DepthDark在自动驾驶、机器人导航、安防监控等领域具有广泛的应用前景。在夜间或低光照条件下，准确的深度估计对于环境感知至关重要。DepthDark可以提高这些系统在恶劣光照条件下的鲁棒性和可靠性，从而提升系统的整体性能和安全性。未来，该技术还可以应用于虚拟现实、增强现实等领域，提供更逼真的沉浸式体验。

📄 摘要（原文）

In recent years, foundation models for monocular depth estimation have received increasing attention. Current methods mainly address typical daylight conditions, but their effectiveness notably decreases in low-light environments. There is a lack of robust foundational models for monocular depth estimation specifically designed for low-light scenarios. This largely stems from the absence of large-scale, high-quality paired depth datasets for low-light conditions and the effective parameter-efficient fine-tuning (PEFT) strategy. To address these challenges, we propose DepthDark, a robust foundation model for low-light monocular depth estimation. We first introduce a flare-simulation module and a noise-simulation module to accurately simulate the imaging process under nighttime conditions, producing high-quality paired depth datasets for low-light conditions. Additionally, we present an effective low-light PEFT strategy that utilizes illumination guidance and multiscale feature fusion to enhance the model's capability in low-light environments. Our method achieves state-of-the-art depth estimation performance on the challenging nuScenes-Night and RobotCar-Night datasets, validating its effectiveness using limited training data and computing resources.