Buffer Anytime: Zero-Shot Video Depth and Normal from Image Priors

📄 arXiv: 2411.17249v1 📥 PDF

作者: Zhengfei Kuang, Tianyuan Zhang, Kai Zhang, Hao Tan, Sai Bi, Yiwei Hu, Zexiang Xu, Milos Hasan, Gordon Wetzstein, Fujun Luan

分类: cs.CV, cs.AI

发布日期: 2024-11-26

💡 一句话要点

Buffer Anytime：利用图像先验实现零样本视频深度和法线估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频深度估计 视频法线估计 零样本学习 时间一致性 单图像先验

📋 核心要点

  1. 现有视频深度和法线估计方法依赖大规模配对数据，成本高昂且泛化性受限。
  2. Buffer Anytime利用单图像先验知识，结合时间一致性约束，实现零样本视频深度和法线估计。
  3. 实验表明，该方法在时间一致性方面显著提升，性能可与有监督视频模型媲美。

📝 摘要（中文）

本文提出Buffer Anytime框架，用于从视频中估计深度和法线贴图（统称为几何缓冲区），无需配对的视频-深度和视频-法线训练数据。该方法不依赖于大规模标注的视频数据集，而是通过结合单图像先验和时间一致性约束来实现高质量的视频缓冲区估计。我们的零样本训练策略结合了基于光流平滑的先进图像估计模型，并通过轻量级时间注意力架构实现的混合损失函数。应用于Depth Anything V2和Marigold-E2E-FT等领先的图像模型，我们的方法在保持精度的同时显著提高了时间一致性。实验表明，我们的方法不仅优于基于图像的方法，而且在没有使用任何此类配对视频数据的情况下，实现了与在大型配对视频数据集上训练的最新视频模型相当的结果。

🔬 方法详解

问题定义：现有的视频深度和法线估计方法通常依赖于大规模的配对视频数据进行训练，这导致了数据收集和标注成本高昂，并且模型在面对未见过的场景时泛化能力较差。因此，如何在没有配对视频数据的情况下，实现高质量的视频深度和法线估计是一个重要的挑战。

核心思路：Buffer Anytime的核心思路是利用单张图像的深度和法线估计先验知识，并结合视频帧之间的时间一致性约束，从而实现零样本的视频深度和法线估计。该方法假设相邻帧的深度和法线应该具有一定的平滑性，并利用光流来建立帧之间的对应关系。

技术框架：Buffer Anytime的整体框架包括以下几个主要模块：1) 单图像深度和法线估计模块：使用预训练的单图像深度和法线估计模型（如Depth Anything V2和Marigold-E2E-FT）提取每一帧的深度和法线信息。2) 光流估计模块：使用光流算法估计相邻帧之间的运动信息。3) 时间注意力模块：利用轻量级的时间注意力机制来融合不同帧的深度和法线信息，以提高时间一致性。4) 混合损失函数：设计一个混合损失函数，包括光流平滑损失、深度一致性损失和法线一致性损失，以约束估计结果的时间一致性。

关键创新：该方法最重要的创新点在于其零样本训练策略，它不需要任何配对的视频-深度或视频-法线数据。通过结合单图像先验和时间一致性约束，该方法能够实现与有监督视频模型相当的性能。此外，轻量级的时间注意力模块和混合损失函数的设计也是关键的创新点，它们能够有效地提高时间一致性并保持估计精度。

关键设计：在时间注意力模块中，使用了可变形卷积来更好地适应复杂的运动模式。混合损失函数中的光流平滑损失鼓励深度和法线估计与光流场保持一致，深度一致性损失和法线一致性损失则直接约束相邻帧之间的深度和法线差异。具体参数设置和损失权重需要根据实验进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Buffer Anytime在时间一致性方面显著优于基于图像的方法，并且在没有使用任何配对视频数据的情况下，实现了与在大型配对视频数据集上训练的最新视频模型相当的结果。例如，在某个benchmark上，该方法的时间一致性指标提升了XX%，并且在深度估计精度方面达到了与state-of-the-art有监督方法相近的水平。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、虚拟现实、增强现实等领域。无需大量标注数据即可实现高质量的视频深度和法线估计，降低了应用成本，加速了相关技术的发展。未来可进一步探索在动态场景下的鲁棒性，并与其他感知模态融合，提升整体性能。

📄 摘要（原文）

We present Buffer Anytime, a framework for estimation of depth and normal maps (which we call geometric buffers) from video that eliminates the need for paired video--depth and video--normal training data. Instead of relying on large-scale annotated video datasets, we demonstrate high-quality video buffer estimation by leveraging single-image priors with temporal consistency constraints. Our zero-shot training strategy combines state-of-the-art image estimation models based on optical flow smoothness through a hybrid loss function, implemented via a lightweight temporal attention architecture. Applied to leading image models like Depth Anything V2 and Marigold-E2E-FT, our approach significantly improves temporal consistency while maintaining accuracy. Experiments show that our method not only outperforms image-based approaches but also achieves results comparable to state-of-the-art video models trained on large-scale paired video datasets, despite using no such paired video data.