Weather-Conditioned Depth Anything

📄 arXiv: 2609.04827v1 📥 PDF

作者: Zhaoming Xu, Chan-Wei Hu, Kuan-Ru Huang, Zihao Zhu, Renjie Li, Yang Zhou, Zhengzhong Tu

分类: cs.CV

发布日期: 2026-09-04

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出Weather-Conditioned Depth Anything以解决恶劣天气下深度估计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 单目深度估计 恶劣天气 风格过滤器 零初始化适配器 鲁棒性 深度学习

📋 核心要点

  1. 现有的单目深度估计模型在恶劣天气条件下表现不佳，导致深度估计的准确性显著下降。
  2. 本文提出了一种新的框架，通过风格过滤器提取天气嵌入，并利用零初始化适配器进行深度估计的调制。
  3. DA-W在天气基准上将AbsRel指标平均提高了3.7%，同时在标准基准上保持或略微提升了性能。

📝 摘要（中文）

单目深度估计基础模型如Depth Anything系列在多个领域取得了显著的性能。然而，在恶劣天气条件下（如雾、雨、雪或夜间），这些模型仍然存在严重的失效问题。为了解决这一问题，本文提出了Weather-Conditioned Depth Anything (DA-W)框架，该框架明确将风格与内容分离，以实现天气鲁棒的深度估计。我们引入了一种风格过滤器，经过精心挑选的真实和合成退化数据集进行训练，以提取内容无关的、对退化敏感的天气嵌入。该风格嵌入通过一种参数高效的零初始化适配器注入到Depth Anything主干中。这种轻量级的调制使得单一统一模型能够在雾、雨、雪和低光等多种条件下稳健适应，同时避免在正常条件下核心泛化能力的灾难性遗忘。实验结果表明，DA-W在我们的天气基准上将AbsRel平均提高了3.7%，同时在标准清洁基准上表现相当或略有提升。

🔬 方法详解

问题定义：本文旨在解决现有单目深度估计模型在恶劣天气条件下的失效问题，特别是在雾、雨、雪和低光环境中，模型的深度估计准确性显著下降。

核心思路：提出Weather-Conditioned Depth Anything (DA-W)框架，通过将风格与内容分离，利用风格过滤器提取天气嵌入，从而实现对不同天气条件的鲁棒适应。

技术框架：DA-W框架主要包括风格过滤器和零初始化适配器两个模块。风格过滤器负责从多样化的退化数据集中提取天气嵌入，而适配器则将这些嵌入注入到深度估计模型中，以实现轻量级调制。

关键创新：最重要的创新在于引入了风格过滤器和零初始化适配器的结合，使得模型能够在多种恶劣天气条件下保持鲁棒性，同时避免灾难性遗忘。

关键设计：在训练过程中，采用伪标签蒸馏和对齐策略来优化适配器的性能，确保模型在不同条件下的适应能力和核心泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DA-W在恶劣天气基准上将AbsRel指标平均提高了3.7%，并且在标准清洁基准上表现相当或略有提升，展示了其在鲁棒深度估计方面的领先性能。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在自动驾驶、机器人导航和增强现实等领域。在这些应用中，准确的深度估计对于环境感知和决策至关重要。未来，DA-W框架有望进一步提升在复杂天气条件下的视觉感知能力，推动相关技术的发展。

📄 摘要（原文）

Monocular depth estimation foundation models, such as the Depth Anything series, have achieved remarkable performance across diverse domains. However, they still suffer from critical failures under adverse weather conditions, such as fog, rain, snow, or at night. To address this, we present Weather-Conditioned Depth Anything (DA-W), a framework that explicitly disentangles style from content for weather-robust depth estimation. Specifically, we introduce a Style Filter trained on a curated mix of real and synthetic degradation datasets to extract content-independent, degradation-aware weather embeddings. This style embedding is then injected into the Depth Anything backbone using a parameter-efficient, zero-initialized adapter. Such a lightweight modulation allows a single unified model to robustly adapt to diverse conditions, including fog, rain, snow, and low-light, while avoiding catastrophic forgetting of its core generalization abilities in normal conditions. We train the adapter using a pseudo-label distillation and alignment strategy. Our comprehensive experiments demonstrate that our proposed DA-W achieves state-of-the-art robust depth estimation, improving AbsRel by an average of 3.7% on our curated weather benchmarks, while matching or slightly outperforming performance on standard clean benchmarks. Our project page is available at https://zhaoming-tamu.github.io/WCDA/.