The ADUULM-360 Dataset -- A Multi-Modal Dataset for Depth Estimation in Adverse Weather

📄 arXiv: 2411.11455v1 📥 PDF

作者: Markus Schön, Jona Ruof, Thomas Wodtko, Michael Buchholz, Klaus Dietmayer

分类: cs.CV

发布日期: 2024-11-18

备注: 2024 IEEE International Conference on Intelligent Transportation Systems (ITSC)

🔗 代码/项目: GITHUB

💡 一句话要点

提出ADUULM-360多模态数据集，用于恶劣天气下的深度估计研究。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 深度估计 多模态数据集 自动驾驶 恶劣天气 激光雷达 雷达 自监督学习 场景理解

📋 核心要点

  1. 现有深度估计数据集在场景多样性和传感器模态方面存在不足，限制了算法在复杂环境下的泛化能力。
  2. ADUULM-360数据集旨在提供一个包含多种传感器模态和恶劣天气场景的综合数据集，以促进更鲁棒的深度估计方法研究。
  3. 通过在ADUULM-360数据集上进行实验，论文揭示了现有自监督深度估计方法在恶劣天气下的局限性，为未来研究指明方向。

📝 摘要（中文）

深度估计是实现全面场景理解的关键任务，因为它允许将相机捕获的丰富语义信息投影到3D空间中。虽然该领域最近受到了广泛关注，但深度估计数据集缺乏场景多样性或传感器模态。本文提出了ADUULM-360数据集，这是一个用于深度估计的新型多模态数据集。ADUULM-360数据集涵盖了所有已建立的自动驾驶传感器模态，包括相机、激光雷达和雷达。它包含一个前向立体视觉设置、六个覆盖完整360度的环视相机、两个高分辨率长距离激光雷达传感器和五个长距离雷达传感器。它也是第一个包含良好和恶劣天气条件下多样化场景的深度估计数据集。我们使用最先进的自监督深度估计方法在不同的训练任务下进行了广泛的实验，例如单目训练、立体训练和全环视训练。通过讨论这些结果，我们展示了最先进方法的常见局限性，尤其是在恶劣天气条件下，这有望激发未来在该领域的研究。我们的数据集、开发工具包和训练好的基线可在https://github.com/uulm-mrm/aduulm_360_dataset上找到。

🔬 方法详解

问题定义：论文旨在解决现有深度估计数据集缺乏场景多样性，尤其是在恶劣天气条件下的数据不足的问题。现有方法在这些条件下表现不佳，限制了自动驾驶系统在真实世界中的应用。

核心思路：论文的核心思路是构建一个包含多种传感器模态（相机、激光雷达、雷达）和多样化天气条件（良好和恶劣天气）的大规模数据集，从而为深度估计算法提供更全面的训练和评估数据。通过多模态数据融合，可以提高算法在复杂环境下的鲁棒性。

技术框架：ADUULM-360数据集包含以下主要组成部分：1) 前向立体相机；2) 六个环视相机；3) 两个高分辨率长距离激光雷达；4) 五个长距离雷达。数据采集过程中，车辆在不同天气和场景下行驶，记录所有传感器的数据。论文还提供了开发工具包和训练好的基线模型，方便研究人员使用该数据集。

关键创新：该数据集的关键创新在于其多模态性和恶劣天气场景的覆盖。它是第一个包含如此全面的传感器配置和天气条件组合的深度估计数据集。这使得研究人员能够开发和评估更鲁棒的深度估计算法，并探索多模态数据融合在恶劣天气下的潜力。

关键设计：数据集的设计考虑了自动驾驶系统的实际需求，包括360度环视感知、长距离感知和恶劣天气下的感知。传感器配置的选择和数据采集过程的设计都旨在尽可能地模拟真实世界的驾驶环境。论文还提供了详细的数据格式和标注信息，方便研究人员使用该数据集进行算法开发和评估。具体的参数设置、损失函数和网络结构等技术细节取决于研究人员选择的深度估计方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在ADUULM-360数据集上对现有自监督深度估计方法进行实验，揭示了这些方法在恶劣天气下的性能瓶颈。实验结果表明，现有方法在雨、雪、雾等天气条件下深度估计精度显著下降。这些发现为未来研究提供了重要的参考，并指明了改进方向。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、机器人导航、智能监控等领域。尤其是在恶劣天气条件下，准确的深度估计对于保证自动驾驶系统的安全性和可靠性至关重要。该数据集的发布将促进相关算法的研发，推动自动驾驶技术在更广泛的场景中应用。

📄 摘要（原文）

Depth estimation is an essential task toward full scene understanding since it allows the projection of rich semantic information captured by cameras into 3D space. While the field has gained much attention recently, datasets for depth estimation lack scene diversity or sensor modalities. This work presents the ADUULM-360 dataset, a novel multi-modal dataset for depth estimation. The ADUULM-360 dataset covers all established autonomous driving sensor modalities, cameras, lidars, and radars. It covers a frontal-facing stereo setup, six surround cameras covering the full 360-degree, two high-resolution long-range lidar sensors, and five long-range radar sensors. It is also the first depth estimation dataset that contains diverse scenes in good and adverse weather conditions. We conduct extensive experiments using state-of-the-art self-supervised depth estimation methods under different training tasks, such as monocular training, stereo training, and full surround training. Discussing these results, we demonstrate common limitations of state-of-the-art methods, especially in adverse weather conditions, which hopefully will inspire future research in this area. Our dataset, development kit, and trained baselines are available at https://github.com/uulm-mrm/aduulm_360_dataset.