Self-Distilled Depth Refinement with Noisy Poisson Fusion
作者: Jiaqi Li, Yiran Wang, Jinghong Zheng, Zihao Huang, Ke Xian, Zhiguo Cao, Jianming Zhang
分类: cs.CV
发布日期: 2024-09-26 (更新: 2024-11-24)
备注: Accepted by NeurIPS 2024
💡 一句话要点
提出自蒸馏深度优化框架SDDR，解决深度优化中噪声干扰和边缘模糊问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 深度优化 自蒸馏 泊松融合 边缘引导 深度估计
📋 核心要点
- 现有深度优化方法效率低、不一致，且易受噪声影响，导致边缘模糊和泛化性差。
- SDDR框架将深度优化建模为噪声泊松融合问题，通过自蒸馏生成低噪声边缘表示，并利用边缘引导进行优化。
- 实验表明，SDDR在多个基准测试中显著提升了深度优化的准确性、边缘质量、效率和泛化能力。
📝 摘要（中文）
深度优化旨在从深度估计模型的低分辨率结果中推断出具有精细边缘和细节的高分辨率深度图。现有方法通常采用基于瓦片的方式合并大量图像块，缺乏效率且产生不一致性。此外，现有技术存在深度边界模糊和泛化能力有限的问题。分析这些限制的根本原因，我们将深度优化建模为一个带有局部不一致性和边缘变形噪声的噪声泊松融合问题。我们提出了自蒸馏深度优化（SDDR）框架，以增强对噪声的鲁棒性，该框架主要包括深度边缘表示和基于边缘的指导。以带噪声的深度预测作为输入，SDDR通过由粗到精的自蒸馏生成低噪声的深度边缘表示作为伪标签。具有边缘引导梯度损失和基于边缘的融合损失的边缘引导作为等效于泊松融合的优化目标。当深度图得到更好的优化时，标签也变得更加无噪声。我们的模型可以获得对噪声的强大鲁棒性，在五个不同的基准测试中，在准确性、边缘质量、效率和泛化能力方面取得了显著的改进。此外，直接使用SDDR生成的边缘标签训练另一个模型也会带来改进，这表明我们的方法可以帮助未来训练鲁棒的优化模型。
🔬 方法详解
问题定义：深度优化旨在提升低分辨率深度估计结果的质量，恢复精细的边缘和细节。现有方法，如基于瓦片合并的方法，存在效率低、结果不一致的问题，并且容易受到噪声的影响，导致深度边界模糊和泛化能力不足。论文将深度优化问题建模为带有局部不一致性和边缘变形噪声的噪声泊松融合问题。
核心思路：论文的核心思路是通过自蒸馏学习低噪声的深度边缘表示，并利用这些边缘信息来引导深度优化过程。通过将深度优化问题视为噪声泊松融合问题，并针对性地设计损失函数，增强模型对噪声的鲁棒性，从而提升深度优化的效果。
技术框架：SDDR框架主要包含两个关键模块：深度边缘表示和基于边缘的指导。首先，利用带噪声的深度预测作为输入，通过粗到精的自蒸馏过程生成低噪声的深度边缘表示，作为伪标签。然后，利用边缘引导梯度损失和基于边缘的融合损失，对深度图进行优化，使其与边缘信息保持一致。整个框架通过迭代优化，逐步提升深度图的质量。
关键创新：该论文的关键创新在于将深度优化问题建模为噪声泊松融合问题，并提出了自蒸馏的边缘表示学习方法。通过自蒸馏，模型可以从带噪声的输入中学习到更干净的边缘信息，从而更好地引导深度优化过程。与现有方法相比，SDDR框架更具鲁棒性，能够有效地处理噪声干扰，并生成更清晰的深度边缘。
关键设计：SDDR框架的关键设计包括：1）粗到精的自蒸馏策略，用于生成低噪声的深度边缘表示；2）边缘引导梯度损失，用于约束深度图的梯度与边缘信息保持一致；3）基于边缘的融合损失，用于增强深度图的边缘质量。此外，论文还采用了特定的网络结构和参数设置，以优化模型的性能。
🖼️ 关键图片
📊 实验亮点
SDDR框架在五个不同的基准测试中取得了显著的改进，在准确性、边缘质量、效率和泛化能力方面均优于现有方法。实验结果表明，SDDR能够有效地处理噪声干扰，生成更清晰的深度边缘，并提升深度优化的整体性能。此外，使用SDDR生成的边缘标签训练其他模型也能带来改进，验证了该方法的有效性和泛化能力。
🎯 应用场景
该研究成果可广泛应用于计算机视觉领域，例如三维重建、自动驾驶、机器人导航等。通过提升深度估计的精度和边缘质量，可以提高这些应用场景的性能和可靠性。此外，该方法还可以用于提升其他深度学习模型的鲁棒性，具有重要的实际应用价值和未来发展潜力。
📄 摘要（原文）
Depth refinement aims to infer high-resolution depth with fine-grained edges and details, refining low-resolution results of depth estimation models. The prevailing methods adopt tile-based manners by merging numerous patches, which lacks efficiency and produces inconsistency. Besides, prior arts suffer from fuzzy depth boundaries and limited generalizability. Analyzing the fundamental reasons for these limitations, we model depth refinement as a noisy Poisson fusion problem with local inconsistency and edge deformation noises. We propose the Self-distilled Depth Refinement (SDDR) framework to enforce robustness against the noises, which mainly consists of depth edge representation and edge-based guidance. With noisy depth predictions as input, SDDR generates low-noise depth edge representations as pseudo-labels by coarse-to-fine self-distillation. Edge-based guidance with edge-guided gradient loss and edge-based fusion loss serves as the optimization objective equivalent to Poisson fusion. When depth maps are better refined, the labels also become more noise-free. Our model can acquire strong robustness to the noises, achieving significant improvements in accuracy, edge quality, efficiency, and generalizability on five different benchmarks. Moreover, directly training another model with edge labels produced by SDDR brings improvements, suggesting that our method could help with training robust refinement models in future works.