Adverse Weather Optical Flow: Cumulative Homogeneous-Heterogeneous Adaptation
作者: Hanyu Zhou, Yi Chang, Zhiwei Shi, Wending Yan, Gang Chen, Yonghong Tian, Luxin Yan
分类: cs.CV
发布日期: 2024-09-25
💡 一句话要点
提出累积同构-异构自适应框架，解决恶劣天气下光流估计的难题。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 光流估计 领域自适应 恶劣天气 合成数据 知识蒸馏
📋 核心要点
- 现有光流方法在恶劣天气下性能显著下降，主要原因是亮度恒定性和梯度连续性假设不再成立。
- 论文提出累积同构-异构自适应框架，利用合成数据作为桥梁，逐步将知识从清晰场景迁移到真实恶劣天气。
- 通过在真实恶劣天气数据集上的实验，验证了所提方法的有效性，并取得了优于现有方法的性能。
📝 摘要（中文）
光流估计在清晰场景中取得了显著进展，但在恶劣天气下性能会下降，这是由于光流的亮度恒定性和梯度连续性假设不再成立。现有方法主要采用领域自适应，通过单阶段自适应将运动知识从清晰域迁移到退化域。然而，由于恶劣天气和场景风格造成的巨大差距，这种直接自适应效果不佳。此外，即使在退化域内，静态天气（如雾）和动态天气（如雨）对光流的影响也不同。为了解决上述问题，本文探索合成退化域作为清晰域和真实退化域之间的中间桥梁，并提出了一种用于真实恶劣天气光流的累积同构-异构自适应框架。具体而言，对于清晰-退化迁移，我们的关键见解是静态天气具有深度关联的同构特征，不会改变场景的内在运动，而动态天气还会引入异构特征，导致清晰域和退化域之间翘曲误差存在显著的边界差异。对于合成-真实迁移，我们发现代价体相关性在合成和真实退化域之间共享相似的统计直方图，有利于整体对齐同构相关性分布，从而进行合成-真实知识蒸馏。在该统一框架下，所提出的方法可以逐步且显式地将知识从清晰场景迁移到真实恶劣天气。此外，我们还收集了一个真实恶劣天气数据集，并手动标注了光流标签，并进行了大量实验来验证所提出方法的优越性。
🔬 方法详解
问题定义：现有光流方法在清晰场景下表现良好，但在恶劣天气条件下，由于亮度恒定性和梯度连续性假设不再成立，导致性能显著下降。直接从清晰域到真实恶劣天气域的领域自适应效果不佳，因为二者之间存在较大的领域差距。此外，静态天气和动态天气对光流的影响也不同，需要区别对待。
核心思路：论文的核心思路是利用合成的恶劣天气数据作为中间桥梁，通过累积的同构-异构自适应，逐步将知识从清晰域迁移到真实恶劣天气域。这种方法将复杂的领域自适应问题分解为两个相对简单的子问题：清晰域到合成域的自适应，以及合成域到真实域的自适应。
技术框架：整体框架包含两个主要的自适应阶段：1) 清晰域到合成退化域的自适应：区分静态天气（同构特征）和动态天气（异构特征），分别进行处理。2) 合成退化域到真实退化域的自适应：利用代价体相关性的统计相似性，进行知识蒸馏。该框架通过累积的方式，逐步缩小领域差距，最终实现真实恶劣天气下的光流估计。
关键创新：论文的关键创新在于提出了累积同构-异构自适应框架。该框架显式地考虑了静态天气和动态天气对光流的影响，并利用合成数据作为桥梁，实现了从清晰域到真实恶劣天气域的有效知识迁移。此外，利用代价体相关性的统计相似性进行合成-真实知识蒸馏也是一个重要的创新点。
关键设计：在清晰域到合成域的自适应中，论文设计了针对同构特征和异构特征的不同处理方式。对于同构特征，主要关注深度信息的关联性；对于异构特征，则关注翘曲误差的边界差异。在合成域到真实域的自适应中，论文利用代价体相关性的直方图相似性，设计了相应的损失函数，以实现知识蒸馏。具体的网络结构和参数设置在论文中有详细描述，此处未知。
🖼️ 关键图片
📊 实验亮点
论文在自建的真实恶劣天气数据集上进行了实验，结果表明，所提出的方法在光流估计精度方面优于现有的领域自适应方法。具体的性能提升数据未知，但实验结果验证了该方法在真实恶劣天气下的有效性。
🎯 应用场景
该研究成果可应用于自动驾驶、机器人导航、智能监控等领域。在恶劣天气条件下，准确的光流估计对于这些应用至关重要。例如，自动驾驶系统需要依靠光流来感知周围环境的运动，从而做出正确的决策。该研究可以提高这些系统在恶劣天气下的鲁棒性和可靠性，具有重要的实际应用价值。
📄 摘要（原文）
Optical flow has made great progress in clean scenes, while suffers degradation under adverse weather due to the violation of the brightness constancy and gradient continuity assumptions of optical flow. Typically, existing methods mainly adopt domain adaptation to transfer motion knowledge from clean to degraded domain through one-stage adaptation. However, this direct adaptation is ineffective, since there exists a large gap due to adverse weather and scene style between clean and real degraded domains. Moreover, even within the degraded domain itself, static weather (e.g., fog) and dynamic weather (e.g., rain) have different impacts on optical flow. To address above issues, we explore synthetic degraded domain as an intermediate bridge between clean and real degraded domains, and propose a cumulative homogeneous-heterogeneous adaptation framework for real adverse weather optical flow. Specifically, for clean-degraded transfer, our key insight is that static weather possesses the depth-association homogeneous feature which does not change the intrinsic motion of the scene, while dynamic weather additionally introduces the heterogeneous feature which results in a significant boundary discrepancy in warp errors between clean and degraded domains. For synthetic-real transfer, we figure out that cost volume correlation shares a similar statistical histogram between synthetic and real degraded domains, benefiting to holistically aligning the homogeneous correlation distribution for synthetic-real knowledge distillation. Under this unified framework, the proposed method can progressively and explicitly transfer knowledge from clean scenes to real adverse weather. In addition, we further collect a real adverse weather dataset with manually annotated optical flow labels and perform extensive experiments to verify the superiority of the proposed method.