Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving

📄 arXiv: 2607.21526v1 📥 PDF

作者: Mengshi Qi, Xiaoyang Bi, Xianlin Zhang, Huadong Ma

分类: cs.CV

发布日期: 2026-07-23

🔗 代码/项目: GITHUB

💡 一句话要点

提出自监督深度估计方法以应对恶劣天气挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自监督深度估计 恶劣天气 多教师蒸馏 雷达融合 自动驾驶 鲁棒性提升

📋 核心要点

  1. 恶劣天气条件下，自监督深度估计面临像素对应关系扭曲和传感器数据稀疏等挑战，导致深度预测不准确。
  2. 提出多教师蒸馏和鲁棒雷达融合的自训练管道，利用未配对的全天气数据来提高深度估计的准确性和鲁棒性。
  3. 通过大量实验验证，所提方法在全天气数据集上实现了最先进的性能，展示了其在自动驾驶中的应用潜力。

📝 摘要（中文）

自监督深度估计在恶劣天气条件下的自动驾驶中面临传感器感知降级的挑战。这些挑战主要源于两方面：一是恶劣条件扭曲像素对应关系，导致深度预测错误；二是雷达点在视角中的稀疏分布给自监督融合带来困难。为了解决这些问题，本文提出了一种新颖的自训练管道，通过多教师蒸馏和鲁棒雷达融合，利用未配对的真实全天气数据。我们提出了不确定性感知多教师蒸馏方法，生成不同恶劣条件输入的多样教师模型，并采用不确定性建模来加权知识蒸馏损失。此外，我们设计了POV-BEV雷达融合方法，利用相机像素光线约束建立相机视角与雷达鸟瞰图之间的联系。大量定量和定性实验表明，所提方法在全天气数据集上表现出色，达到了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决恶劣天气条件下自监督深度估计的准确性问题。现有方法在传感器感知降级时，容易导致像素对应关系的扭曲，从而影响深度预测的可靠性。

核心思路：提出一种新颖的自训练管道，结合多教师蒸馏和鲁棒雷达融合，利用未配对的真实全天气数据进行训练，以增强模型在不同恶劣条件下的适应性。

技术框架：整体架构包括多教师模型生成、知识蒸馏和雷达数据融合三个主要模块。首先，通过不同恶劣条件下的数据生成多样化的教师模型；其次，采用不确定性建模来加权知识蒸馏损失；最后，利用POV-BEV雷达融合方法将相机视角与雷达鸟瞰图相结合。

关键创新：最重要的创新点在于不确定性感知多教师蒸馏方法和POV-BEV雷达融合技术。这些方法有效解决了恶劣天气下的深度估计问题，与传统方法相比，显著提升了模型的鲁棒性和准确性。

关键设计：在损失函数设计中，采用了不确定性加权机制，以便更好地处理不同教师模型的输出。此外，POV-BEV雷达融合方法利用相机像素光线约束，增强了雷达点的利用效率，提升了深度估计的精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在全天气数据集上达到了最先进的性能，相较于基线方法，深度估计的准确率提升了XX%。定量和定性分析均显示出该方法在恶劣天气条件下的鲁棒性，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和智能交通系统等。通过提高恶劣天气条件下的深度估计准确性，能够显著增强自动驾驶系统的安全性和可靠性，推动智能交通技术的发展。未来，该方法有望在更广泛的场景中应用，提升自动驾驶的普适性和稳定性。

📄 摘要（原文）

Self-supervised depth estimation is challenging for safe autonomous driving under various adverse weather conditions due to sensor perception degradation. These challenges arise from two main aspects. Firstly, adverse conditions can distort pixel correspondences and violate the assumptions embedded in the self-supervised loss function, leading to erroneous depth predictions. Secondly, while radar is a widely adopted sensor in adverse weather conditions, the sparse distribution of radar points in the Point of View (POV) poses challenges for self-supervised fusion. To address these issues, we introduce a novel self-training pipeline using unpaired real all-weather data through multi-teacher distillation and robust radar fusion. We propose the Uncertainty-Aware Multi-Teacher Distillation method to generate diverse teacher models with different adverse condition inputs, and then employ uncertainty modeling to weigh the knowledge distillation loss. Additionally, we design the POV-BEV Radar Fusion approach, which leverages camera-pixel ray constraints to establish connections between the camera's Point of View (POV) and the radar's Bird's-Eye View (BEV). This approach enables the utilization of denser radar points, effectively capturing the complementary perspectives of both POV and BEV. Extensive quantitative and qualitative experiments demonstrate the robustness of our proposed method on all-weather datasets, achieving state-of-the-art performance. Our code and models are available at https://github.com/MICLAB-BUPT/RobustDepth.