Depth Any Video with Scalable Synthetic Data

📄 arXiv: 2410.10815v2 📥 PDF

作者: Honghui Yang, Di Huang, Wei Yin, Chunhua Shen, Haifeng Liu, Xiaofei He, Binbin Lin, Wanli Ouyang, Tong He

分类: cs.CV, cs.AI

发布日期: 2024-10-14 (更新: 2025-03-12)

备注: Project Page: https://depthanyvideo.github.io/

💡 一句话要点

提出Depth Any Video模型，利用可扩展合成数据解决视频深度估计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视频深度估计 合成数据 生成模型 扩散模型 时间一致性

📋 核心要点

  1. 现有视频深度估计方法受限于缺乏一致且可扩展的真值数据，导致结果不稳定。
  2. Depth Any Video模型利用可扩展的合成数据管道和生成视频扩散模型的先验知识，提升深度估计效果。
  3. 该模型采用混合时长训练策略和深度插值方法，在空间精度和时间一致性方面超越现有模型。

📝 摘要（中文）

视频深度估计长期以来受到一致且可扩展的真值数据匮乏的阻碍，导致结果不一致且不可靠。本文提出了Depth Any Video模型，通过两项关键创新来解决这一挑战。首先，我们开发了一个可扩展的合成数据管道，从不同的虚拟环境中捕获实时视频深度数据，生成了40,000个时长5秒的视频片段，每个片段都带有精确的深度标注。其次，我们利用生成视频扩散模型的强大先验知识来有效地处理真实世界的视频，集成了旋转位置编码和流匹配等先进技术，以进一步提高灵活性和效率。与之前仅限于固定长度视频序列的模型不同，我们的方法引入了一种新颖的混合时长训练策略，可以处理不同长度的视频，并在不同的帧率下（甚至在单帧上）表现出鲁棒性。在推理阶段，我们提出了一种深度插值方法，使我们的模型能够推断跨越最多150帧序列的高分辨率视频深度。我们的模型在空间精度和时间一致性方面优于所有先前的生成深度模型。代码和模型权重已开源。

🔬 方法详解

问题定义：视频深度估计旨在从视频序列中推断每个像素的深度信息。现有方法面临的主要痛点是缺乏大规模、高质量的真值深度数据，尤其是在真实场景中。这限制了模型的泛化能力和鲁棒性，导致在处理不同长度、不同帧率的视频时表现不佳。此外，现有模型通常难以保证时间一致性，导致深度估计结果在帧与帧之间出现跳变。

核心思路：本文的核心思路是利用合成数据来弥补真实数据的不足，并结合生成视频扩散模型的强大先验知识来提升深度估计的质量和鲁棒性。通过构建可扩展的合成数据生成流程，可以获得大量带有精确深度标注的视频数据。同时，利用生成模型学习视频的时序信息，从而提高深度估计的时间一致性。

技术框架：Depth Any Video模型的整体框架包含两个主要部分：合成数据生成管道和深度估计网络。合成数据生成管道负责生成大规模的带有深度标注的视频数据。深度估计网络则利用这些数据进行训练，并结合生成视频扩散模型的先验知识来提升性能。在推理阶段，模型采用深度插值方法来生成高分辨率的深度图。

关键创新：该论文的关键创新点在于：1) 提出了一个可扩展的合成数据生成管道，能够生成大规模、高质量的视频深度数据；2) 引入了混合时长训练策略，使得模型能够处理不同长度的视频；3) 提出了一种深度插值方法，用于生成高分辨率的深度图。与现有方法相比，该模型在数据规模、模型泛化能力和深度估计质量方面都有显著提升。

关键设计：在合成数据生成方面，论文设计了多样化的虚拟环境和相机运动轨迹，以增加数据的多样性。在深度估计网络方面，论文采用了旋转位置编码和流匹配等技术来提高模型的灵活性和效率。混合时长训练策略允许模型在训练过程中学习不同长度视频的时序信息。深度插值方法则利用相邻帧的深度信息来提高目标帧的深度估计精度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Depth Any Video模型在空间精度和时间一致性方面均优于现有方法。实验结果表明，该模型在多个数据集上取得了state-of-the-art的性能。特别是在处理长视频序列时，该模型能够保持较好的时间一致性，避免深度估计结果出现跳变。此外，该模型在不同帧率的视频上均表现出较强的鲁棒性。

🎯 应用场景

该研究成果可广泛应用于机器人导航、自动驾驶、虚拟现实、增强现实等领域。高质量的视频深度估计能够帮助机器人更好地理解周围环境，从而实现更智能的导航和交互。在自动驾驶领域，深度信息对于障碍物检测和场景理解至关重要。在VR/AR领域，精确的深度信息可以提升用户体验，实现更逼真的虚拟场景交互。

📄 摘要（原文）

Video depth estimation has long been hindered by the scarcity of consistent and scalable ground truth data, leading to inconsistent and unreliable results. In this paper, we introduce Depth Any Video, a model that tackles the challenge through two key innovations. First, we develop a scalable synthetic data pipeline, capturing real-time video depth data from diverse virtual environments, yielding 40,000 video clips of 5-second duration, each with precise depth annotations. Second, we leverage the powerful priors of generative video diffusion models to handle real-world videos effectively, integrating advanced techniques such as rotary position encoding and flow matching to further enhance flexibility and efficiency. Unlike previous models, which are limited to fixed-length video sequences, our approach introduces a novel mixed-duration training strategy that handles videos of varying lengths and performs robustly across different frame rates-even on single frames. At inference, we propose a depth interpolation method that enables our model to infer high-resolution video depth across sequences of up to 150 frames. Our model outperforms all previous generative depth models in terms of spatial accuracy and temporal consistency. The code and model weights are open-sourced.