StableDPT: Temporal Stable Monocular Video Depth Estimation

📄 arXiv: 2601.02793v1 📥 PDF

作者: Ivan Sobko, Hayko Riemenschneider, Markus Gross, Christopher Schroers

分类: cs.CV

发布日期: 2026-01-06

💡 一句话要点

StableDPT：通过时序建模提升单目视频深度估计的稳定性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目深度估计 视频深度估计 时序一致性 Transformer 交叉注意力

📋 核心要点

  1. 现有单目深度估计模型应用于视频时，会产生时序不稳定和闪烁问题，影响用户体验。
  2. StableDPT通过在DPT头部引入时序层，利用交叉注意力机制整合关键帧信息，捕捉全局上下文。
  3. 实验表明，StableDPT在时序一致性、深度估计精度和处理速度上均优于现有方法，尤其是在真实场景中。

📝 摘要（中文）

将单张图像的单目深度估计（MDE）模型应用于视频序列时，会出现显著的时序不稳定性和闪烁伪影。本文提出了一种新颖的方法，通过集成一个新的时序模块，使任何最先进的基于图像的（深度）估计模型都能够适应视频处理，该模块可以在单个GPU上在几天内训练完成。我们的架构StableDPT建立在现成的Vision Transformer（ViT）编码器之上，并增强了密集预测Transformer（DPT）头。我们贡献的核心在于头部中的时间层，它使用高效的交叉注意力机制来整合来自整个视频序列中采样的关键帧的信息。这使得模型能够捕获全局上下文和帧间关系，从而实现更准确和时间上更稳定的深度预测。此外，我们提出了一种新颖的推理策略，用于处理任意长度的视频，避免了与其他方法中使用的重叠窗口相关的尺度不对齐和冗余计算。在多个基准数据集上的评估表明，在真实场景中，时序一致性得到了改善，具有竞争力的最先进性能，并且处理速度提高了2倍。

🔬 方法详解

问题定义：论文旨在解决单目视频深度估计中存在的时序不稳定性问题。现有方法，如直接将单张图像的深度估计模型应用于视频，会导致帧间深度不一致，产生令人不悦的闪烁伪影。这些方法缺乏对视频时序信息的有效利用，无法保证深度估计结果在时间上的平滑性。

核心思路：论文的核心思路是通过引入时序建模模块，显式地学习视频帧之间的关系，从而提高深度估计的时序一致性。具体来说，StableDPT利用交叉注意力机制，将当前帧的特征与视频序列中的关键帧特征进行融合，从而获得更丰富的上下文信息，并抑制帧间深度突变。

技术框架：StableDPT的整体架构基于Vision Transformer (ViT) 编码器和 Dense Prediction Transformer (DPT) 头部。ViT负责提取单帧图像的特征，DPT头部则负责将这些特征转换为深度图。关键创新在于DPT头部中引入的时序层，该层使用交叉注意力机制来融合来自关键帧的信息。此外，论文还提出了一种新的推理策略，用于处理任意长度的视频，避免了重叠窗口带来的问题。

关键创新：StableDPT的关键创新在于其时序建模方法。与以往方法不同，StableDPT不是简单地对单帧图像进行深度估计，而是显式地学习视频帧之间的关系。通过交叉注意力机制，StableDPT能够有效地融合来自关键帧的信息，从而提高深度估计的时序一致性。此外，新的推理策略避免了重叠窗口带来的尺度不对齐和冗余计算问题。

关键设计：StableDPT的关键设计包括：1) 交叉注意力机制：用于融合当前帧和关键帧的特征，权重由网络学习得到。2) 关键帧选择策略：论文中没有明确说明关键帧选择策略，可能采用均匀采样或基于视觉显著性的采样方法（未知）。3) 损失函数：除了深度估计的损失函数外，可能还引入了时序一致性损失函数，以鼓励帧间深度平滑（未知）。4) 推理策略：避免使用重叠窗口，而是采用滑动窗口的方式，并对窗口边缘进行平滑处理，以消除边界效应。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

StableDPT在多个基准数据集上取得了显著的性能提升。实验结果表明，StableDPT在时序一致性方面优于现有方法，并且在深度估计精度方面也具有竞争力。更重要的是，StableDPT在真实场景中的处理速度比现有方法快2倍，使其更适合实时应用。

🎯 应用场景

StableDPT在机器人导航、自动驾驶、虚拟现实和增强现实等领域具有广泛的应用前景。更稳定的深度估计可以提升机器人对环境的感知能力，提高自动驾驶系统的安全性，并为VR/AR应用提供更逼真的沉浸式体验。此外，该方法还可以应用于视频编辑、特效制作等领域。

📄 摘要（原文）

Applying single image Monocular Depth Estimation (MDE) models to video sequences introduces significant temporal instability and flickering artifacts. We propose a novel approach that adapts any state-of-the-art image-based (depth) estimation model for video processing by integrating a new temporal module - trainable on a single GPU in a few days. Our architecture StableDPT builds upon an off-the-shelf Vision Transformer (ViT) encoder and enhances the Dense Prediction Transformer (DPT) head. The core of our contribution lies in the temporal layers within the head, which use an efficient cross-attention mechanism to integrate information from keyframes sampled across the entire video sequence. This allows the model to capture global context and inter-frame relationships leading to more accurate and temporally stable depth predictions. Furthermore, we propose a novel inference strategy for processing videos of arbitrary length avoiding the scale misalignment and redundant computations associated with overlapping windows used in other methods. Evaluations on multiple benchmark datasets demonstrate improved temporal consistency, competitive state-of-the-art performance and on top 2x faster processing in real-world scenarios.