SpatialDreamer: Self-supervised Stereo Video Synthesis from Monocular Input

📄 arXiv: 2411.11934v2 📥 PDF

作者: Zhen Lv, Yangqi Long, Congzhentao Huang, Cao Li, Chengfei Lv, Hao Ren, Dian Zheng

分类: cs.CV, cs.AI

发布日期: 2024-11-18 (更新: 2025-04-27)

备注: website, see https://spatialdreamer.github.io

💡 一句话要点

SpatialDreamer：提出一种自监督立体视频合成方法，解决单目视频生成立体视频问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 立体视频合成 自监督学习 视频扩散模型 新视角合成 深度估计

📋 核心要点

  1. 现有方法在单目视频生成立体视频时，难以有效表示动态场景，且需要大量配对的立体视频数据进行训练。
  2. SpatialDreamer提出基于深度的视频生成模块DVG，以及RefinerNet和自监督合成框架，利用视频扩散模型生成高质量的立体视频。
  3. 实验结果表明，SpatialDreamer在立体视频合成任务上优于现有方法，证明了其有效性。

📝 摘要（中文）

本文提出了一种新颖的自监督立体视频合成范式SpatialDreamer，旨在解决从单目输入合成立体视频这一难题。该任务在空间计算和虚拟现实领域具有重要意义。主要挑战在于缺乏高质量的配对立体视频用于训练，以及难以维持帧间时空一致性。现有方法主要采用新视角合成（NVS）技术，但存在无法有效表示动态场景和需要大量训练数据等局限性。SpatialDreamer通过视频扩散模型，正面应对这些挑战。首先，为了解决立体视频数据不足的问题，提出了基于深度的视频生成模块DVG，该模块采用前向-后向渲染机制生成具有几何和时间先验的配对视频。利用DVG生成的数据，提出了RefinerNet以及自监督合成框架，以促进高效和专门的训练。更重要的是，设计了一致性控制模块，该模块包含立体偏差强度度量和时间交互学习模块TIL，分别用于确保几何和时间一致性。实验结果表明，该方法优于各种基准方法。

🔬 方法详解

问题定义：论文旨在解决从单目视频输入合成高质量、时空一致的立体视频的问题。现有方法，如直接应用新视角合成技术，在处理动态场景时表现不佳，并且需要大量的配对立体视频数据进行训练，而高质量的立体视频数据难以获取。

核心思路：论文的核心思路是利用自监督学习和视频扩散模型，通过生成具有几何和时间先验的合成数据来弥补真实立体视频数据的不足。通过设计专门的训练框架和一致性控制模块，确保生成的立体视频在几何和时间上保持一致性。

技术框架：SpatialDreamer的整体框架包含以下几个主要模块：1) 基于深度的视频生成模块（DVG）：用于生成具有几何和时间先验的配对立体视频；2) RefinerNet：用于对DVG生成的视频进行优化和精细化；3) 自监督合成框架：利用DVG生成的数据和RefinerNet进行自监督训练；4) 一致性控制模块：包含立体偏差强度度量和时间交互学习模块（TIL），用于确保几何和时间一致性。

关键创新：该论文的关键创新在于：1) 提出了基于深度的视频生成模块DVG，能够生成具有几何和时间先验的配对立体视频，有效缓解了立体视频数据不足的问题；2) 设计了一致性控制模块，通过立体偏差强度度量和时间交互学习模块TIL，有效保证了生成立体视频的几何和时间一致性；3) 提出了一个完整的自监督立体视频合成框架，能够利用合成数据进行高效训练。

关键设计：DVG模块采用前向-后向渲染机制，利用深度信息生成配对视频。RefinerNet的网络结构未知，但其作用是对DVG生成的视频进行优化。一致性控制模块中的立体偏差强度度量方法和时间交互学习模块TIL的具体实现细节未知。损失函数的设计也未知，但应该包含几何一致性损失和时间一致性损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了SpatialDreamer的有效性，在立体视频合成任务上取得了优于现有方法的性能。虽然具体的性能数据和提升幅度未知，但摘要中明确指出“实验结果表明，该方法优于各种基准方法”，表明SpatialDreamer在生成高质量、时空一致的立体视频方面具有显著优势。

🎯 应用场景

SpatialDreamer在空间计算、虚拟现实、增强现实等领域具有广泛的应用前景。它可以用于从单目视频生成沉浸式的立体视频体验，提升用户在VR/AR环境中的临场感和交互性。此外，该方法还可以应用于3D电影制作、游戏开发等领域，降低立体内容制作的成本和难度。未来，该技术有望进一步发展，实现更高质量、更逼真的立体视频合成。

📄 摘要（原文）

Stereo video synthesis from a monocular input is a demanding task in the fields of spatial computing and virtual reality. The main challenges of this task lie on the insufficiency of high-quality paired stereo videos for training and the difficulty of maintaining the spatio-temporal consistency between frames. Existing methods primarily address these issues by directly applying novel view synthesis (NVS) techniques to video, while facing limitations such as the inability to effectively represent dynamic scenes and the requirement for large amounts of training data. In this paper, we introduce a novel self-supervised stereo video synthesis paradigm via a video diffusion model, termed SpatialDreamer, which meets the challenges head-on. Firstly, to address the stereo video data insufficiency, we propose a Depth based Video Generation module DVG, which employs a forward-backward rendering mechanism to generate paired videos with geometric and temporal priors. Leveraging data generated by DVG, we propose RefinerNet along with a self-supervised synthetic framework designed to facilitate efficient and dedicated training. More importantly, we devise a consistency control module, which consists of a metric of stereo deviation strength and a Temporal Interaction Learning module TIL for geometric and temporal consistency ensurance respectively. We evaluated the proposed method against various benchmark methods, with the results showcasing its superior performance.