LED: Light Enhanced Depth Estimation at Night

📄 arXiv: 2409.08031v3 📥 PDF

作者: Simon de Moreau, Yasser Almehio, Andrei Bursuc, Hafid El-Idrissi, Bogdan Stanciulescu, Fabien Moutarde

分类: cs.CV, cs.RO

发布日期: 2024-09-12 (更新: 2025-11-18)

备注: BMVC 2025 (Poster). Code and dataset available on the project page : https://simondemoreau.github.io/LED/ 21 pages, 13 figures

💡 一句话要点

LED：利用车头灯光增强夜间深度估计，提升自动驾驶安全性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 夜间深度估计 光增强 自动驾驶 深度学习 合成数据集

📋 核心要点

  1. 夜间深度估计依赖昂贵的激光雷达或在白天数据训练的模型，但在弱光条件下表现不佳，影响自动驾驶安全。
  2. 提出光增强深度（LED）方法，利用现代车辆高清车头灯投射的图案，经济高效地提升夜间深度估计的可靠性。
  3. 在多种深度估计架构和数据集上验证，LED 显著提升性能，并发布包含近5万张图像的夜间合成驾驶数据集。

📝 摘要（中文）

夜间基于相机的深度估计是一项极具挑战性的任务，尤其是在自动驾驶应用中，精确的深度感知对于确保安全导航至关重要。在缺乏精确但昂贵的激光雷达的情况下，在白天数据上训练的模型通常会失效。即使在大量数据上训练的视觉基础模型在弱光条件下也并不可靠。在这项工作中，我们的目标是提高夜间感知系统的可靠性。为此，我们引入了光增强深度（LED），这是一种新颖且经济高效的方法，通过利用现代车辆中高清车头灯投射的图案，显著提高了弱光环境中的深度估计。LED 在合成和真实数据集上的多种深度估计架构（编码器-解码器、Adabins、DepthFormer、Depth Anything V2）上都带来了显著的性能提升。此外，超出照明区域的性能提升揭示了场景理解的整体增强。最后，我们发布了夜间合成驾驶数据集，这是一个合成的和照片般逼真的夜间数据集，其中包含 49,990 张全面注释的图像。

🔬 方法详解

问题定义：论文旨在解决夜间低光照条件下，基于视觉的深度估计精度低的问题。现有方法要么依赖昂贵的激光雷达，要么在白天数据上训练的模型在夜间泛化能力差，导致自动驾驶等应用场景的安全隐患。即使是大型视觉基础模型，在低光照下也难以保证深度估计的可靠性。

核心思路：论文的核心思路是利用现代车辆配备的高清车头灯，主动投射特定的图案到场景中，从而为深度估计提供额外的光照和结构信息。这种方法无需昂贵的激光雷达，且能有效提升弱光环境下的深度感知能力。通过分析投射图案的形变，可以更准确地推断场景的深度信息。

技术框架：LED 方法可以集成到现有的深度估计框架中。整体流程包括：1) 使用高清车头灯投射预定义的图案；2) 使用相机捕获带有图案的图像；3) 将捕获的图像输入到深度估计模型中，模型可以是编码器-解码器结构、Adabins、DepthFormer 或 Depth Anything V2 等；4) 模型输出深度图。LED 方法主要是在输入端增加了光照增强，可以看作是一种数据增强或预处理手段。

关键创新：该方法最重要的创新点在于利用车辆自身携带的车头灯作为主动光源，通过投射图案来辅助深度估计。这种方法成本低廉，易于部署，并且能够显著提升夜间低光照条件下的深度估计精度。与传统的依赖被动光照的视觉方法相比，LED 方法能够提供更可靠的深度信息。

关键设计：论文中并没有详细描述车头灯投射图案的具体设计，这部分可能依赖于车辆制造商的现有技术。关键在于如何将投射图案的信息有效地融入到深度估计模型中。一种可能的设计是，将带有图案的图像作为额外的输入通道，或者设计特定的损失函数来约束深度估计的结果，使其与投射图案的形变相一致。此外，数据集的构建也至关重要，论文发布了包含大量夜间合成图像的 Nighttime Synthetic Drive Dataset，为模型的训练和评估提供了数据支持。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LED 方法在多种深度估计架构（包括编码器-解码器、Adabins、DepthFormer、Depth Anything V2）上均取得了显著的性能提升。在合成数据集和真实数据集上都验证了该方法的有效性。值得注意的是，即使在车头灯未直接照射的区域，深度估计的性能也得到了提升，这表明 LED 方法能够提升模型对整个场景的理解能力。论文还发布了包含 49,990 张图像的 Nighttime Synthetic Drive Dataset，为夜间深度估计研究提供了宝贵的数据资源。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、高级驾驶辅助系统（ADAS）、夜间监控、机器人导航等领域。通过提升夜间深度感知的准确性和可靠性，可以显著提高这些系统的安全性。此外，该方法成本较低，易于部署，具有很高的实际应用价值。未来，可以进一步研究如何优化投射图案的设计，以及如何将 LED 方法与其他传感器（如毫米波雷达）融合，以实现更鲁棒的夜间感知。

📄 摘要（原文）

Nighttime camera-based depth estimation is a highly challenging task, especially for autonomous driving applications, where accurate depth perception is essential for ensuring safe navigation. Models trained on daytime data often fail in the absence of precise but costly LiDAR. Even vision foundation models trained on large amounts of data are unreliable in low-light conditions. In this work, we aim to improve the reliability of perception systems at night time. To this end, we introduce Light Enhanced Depth (LED), a novel, cost-effective approach that significantly improves depth estimation in low-light environments by harnessing a pattern projected by high definition headlights available in modern vehicles. LED leads to significant performance boosts across multiple depth-estimation architectures (encoder-decoder, Adabins, DepthFormer, Depth Anything V2) both on synthetic and real datasets. Furthermore, increased performances beyond illuminated areas reveal a holistic enhancement in scene understanding. Finally, we release the Nighttime Synthetic Drive Dataset, a synthetic and photo-realistic nighttime dataset, which comprises 49,990 comprehensively annotated images.