AURORA-KITTI: Any-Weather Depth Completion and Denoising in the Wild

📄 arXiv: 2603.14701v1 📥 PDF

作者: Yiting Wang, Tim Brödermann, Hamed Haghighi, Haonan Zhao, Christos Sakaridis, Kurt Debattista, Valentina Donzella

分类: cs.CV

发布日期: 2026-03-16

💡 一句话要点

提出AURORA-KITTI数据集，并构建基于蒸馏的深度补全与去噪基线DDCD，提升恶劣天气下的鲁棒性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度补全 恶劣天气 多模态融合 知识蒸馏 数据集 鲁棒性 深度学习

📋 核心要点

  1. 现有RGB-LiDAR融合深度补全方法在恶劣天气下性能显著下降，因为图像和LiDAR数据均受天气影响。
  2. 提出AURORA-KITTI数据集，并定义深度补全和去噪（DCD）的统一任务，旨在恶劣天气下重建密集深度图并抑制噪声。
  3. 提出基于蒸馏的深度补全基线DDCD，利用深度基础模型注入结构先验，在AURORA-KITTI和DENSE数据集上取得SOTA性能。

📝 摘要（中文）

鲁棒的深度补全是现实世界3D场景理解的基础，然而现有的RGB-LiDAR融合方法在恶劣天气下性能显著下降，因为相机图像和LiDAR测量都受到天气引起的损坏。本文介绍了AURORA-KITTI，这是第一个大规模多模态、多天气的基准，用于在野外进行鲁棒的深度补全。我们进一步将深度补全和去噪（DCD）定义为一个统一的任务，该任务从损坏的稀疏输入中联合重建密集深度图，同时抑制天气引起的噪声。AURORA-KITTI包含超过82K个天气一致的RGBL对，具有度量深度真值，涵盖不同的天气类型、三个严重程度级别、白天和夜晚场景、配对的干净参考、镜头遮挡条件和文本描述。此外，我们引入了DDCD，这是一种高效的基于蒸馏的基线，它利用深度基础模型将干净的结构先验注入到野外DCD训练中。DDCD在AURORA-KITTI和真实世界的DENSE数据集上实现了最先进的性能，同时保持了效率。值得注意的是，我们的结果进一步表明，天气感知、物理一致的数据比单独的架构修改更有助于鲁棒性。数据和代码将在发布后发布。

🔬 方法详解

问题定义：论文旨在解决恶劣天气下深度补全的鲁棒性问题。现有方法在雨、雪、雾等天气条件下，由于图像质量下降和LiDAR数据受干扰，导致深度补全精度大幅降低。现有的深度补全方法通常没有考虑到恶劣天气的影响，缺乏针对性的优化。

核心思路：论文的核心思路是构建一个包含多种天气条件的大规模数据集AURORA-KITTI，并提出一个深度补全和去噪（DCD）的统一任务。同时，利用知识蒸馏，将深度基础模型学习到的结构先验知识迁移到恶劣天气下的深度补全模型中，从而提高模型的鲁棒性。

技术框架：整体框架包含数据收集与标注、DCD任务定义和DDCD模型设计三个主要部分。AURORA-KITTI数据集包含多种天气类型和严重程度，并提供配对的干净参考数据。DCD任务将深度补全和去噪结合起来，旨在同时恢复深度信息和抑制噪声。DDCD模型采用蒸馏框架，利用深度基础模型作为教师模型，指导学生模型在恶劣天气下进行训练。

关键创新：论文的关键创新在于：1) 构建了首个大规模多天气深度补全数据集AURORA-KITTI；2) 提出了深度补全和去噪（DCD）的统一任务；3) 设计了基于蒸馏的深度补全基线DDCD，有效利用了深度基础模型的结构先验知识。与现有方法相比，该方法更关注恶劣天气下的鲁棒性，并利用数据和知识蒸馏来提高性能。

关键设计：DDCD模型采用深度基础模型（例如DPT）作为教师模型，提取干净数据的深度特征。学生模型在恶劣天气数据上进行训练，并利用教师模型的深度特征作为监督信号。损失函数包括深度重建损失、噪声抑制损失和蒸馏损失。具体的网络结构和参数设置在论文中有详细描述，例如使用了特定的卷积神经网络结构和损失函数权重。

📊 实验亮点

DDCD在AURORA-KITTI数据集上取得了SOTA性能，显著优于现有方法。实验结果表明，天气感知和物理一致的数据比单独的架构修改更有助于提高鲁棒性。此外，DDCD在真实世界的DENSE数据集上也表现出良好的泛化能力，证明了其在实际应用中的潜力。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、增强现实等领域。在恶劣天气条件下，准确的深度信息对于感知周围环境至关重要。该方法可以提高自动驾驶系统在雨、雪、雾等天气下的安全性和可靠性，并为机器人提供更准确的环境信息，从而实现更智能的导航和操作。

📄 摘要（原文）

Robust depth completion is fundamental to real-world 3D scene understanding, yet existing RGB-LiDAR fusion methods degrade significantly under adverse weather, where both camera images and LiDAR measurements suffer from weather-induced corruption. In this paper, we introduce AURORA-KITTI, the first large-scale multi-modal, multi-weather benchmark for robust depth completion in the wild. We further formulate Depth Completion and Denoising (DCD) as a unified task that jointly reconstructs a dense depth map from corrupted sparse inputs while suppressing weather-induced noise. AURORA-KITTI contains over \textit{82K} weather-consistent RGBL pairs with metric depth ground truth, spanning diverse weather types, three severity levels, day and night scenes, paired clean references, lens occlusion conditions, and textual descriptions. Moreover, we introduce DDCD, an efficient distillation-based baseline that leverages depth foundation models to inject clean structural priors into in-the-wild DCD training. DDCD achieves state-of-the-art performance on AURORA-KITTI and the real-world DENSE dataset while maintaining efficiency. Notably, our results further show that weather-aware, physically consistent data contributes more to robustness than architectural modifications alone. Data and code will be released upon publication.