StereoCrafter-Zero: Zero-Shot Stereo Video Generation with Noisy Restart
作者: Jian Shi, Qian Wang, Zhenyu Li, Ramzi Idoughi, Peter Wonka
分类: cs.CV
发布日期: 2024-11-21 (更新: 2025-03-12)
🔗 代码/项目: GITHUB
💡 一句话要点
StereoCrafter-Zero：基于噪声重启的零样本立体视频生成框架
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 立体视频生成 零样本学习 扩散模型 深度一致性 时间平滑性 噪声重启 潜在空间操作
📋 核心要点
- 现有方法难以在左右视图之间保持一致的时间和空间连贯性，导致立体视频生成质量不高。
- StereoCrafter-Zero通过噪声重启策略初始化立体感知潜在表示，并迭代细化潜在空间，解决时间闪烁和视图不一致问题。
- 实验结果表明，StereoCrafter-Zero能够生成高质量的立体视频，具有增强的深度一致性和时间平滑性。
📝 摘要（中文）
本文提出StereoCrafter-Zero，一个新颖的零样本立体视频生成框架，它利用视频扩散先验，无需配对训练数据。该框架的关键创新包括：用于初始化立体感知潜在表示的噪声重启策略，以及逐步协调潜在空间以解决时间闪烁和视图不一致等问题的迭代细化过程。此外，本文还提出使用溶解深度图来简化潜在空间操作，通过减少高频深度信息。综合评估，包括定量指标和用户研究，表明StereoCrafter-Zero生成高质量的立体视频，具有增强的深度一致性和时间平滑性，即使深度估计不完善。该框架具有鲁棒性和适应性，可跨各种扩散模型使用，为零样本立体视频生成设置了新的基准，并实现了更具沉浸感的视觉体验。代码已开源。
🔬 方法详解
问题定义：论文旨在解决零样本立体视频生成问题，即在没有配对训练数据的情况下，生成具有一致深度感知和时间连贯性的高质量立体视频。现有方法难以维持左右视图之间的时间和空间一致性，导致生成的立体视频质量较差，存在时间闪烁和视图不一致等问题。
核心思路：论文的核心思路是利用视频扩散模型的先验知识，通过一种新颖的噪声重启策略来初始化立体感知的潜在表示，并采用迭代细化过程来逐步协调潜在空间，从而解决时间闪烁和视图不一致的问题。这种方法避免了对配对训练数据的需求，实现了零样本的立体视频生成。
技术框架：StereoCrafter-Zero框架主要包含以下几个阶段：1) 使用噪声重启策略初始化立体感知的潜在表示；2) 使用溶解深度图来简化潜在空间操作，减少高频深度信息；3) 通过迭代细化过程，逐步协调潜在空间，解决时间闪烁和视图不一致的问题。整个框架利用视频扩散模型作为基础，通过对潜在空间的操作来实现立体视频的生成。
关键创新：该论文的关键创新在于：1) 提出了噪声重启策略，用于初始化立体感知的潜在表示，这有助于在生成过程中保持左右视图的一致性；2) 提出了迭代细化过程，用于逐步协调潜在空间，从而解决时间闪烁和视图不一致的问题；3) 提出了使用溶解深度图来简化潜在空间操作，减少高频深度信息，从而提高生成效率和质量。
关键设计：论文中关键的设计包括：1) 噪声重启策略的具体实现方式，例如噪声的强度和分布；2) 迭代细化过程中的优化目标和算法；3) 溶解深度图的生成方法和参数设置；4) 扩散模型的选择和配置，以及如何将其与提出的方法相结合。
🖼️ 关键图片
📊 实验亮点
StereoCrafter-Zero在零样本立体视频生成任务上取得了显著的成果。通过定量指标和用户研究表明，该方法生成的立体视频具有增强的深度一致性和时间平滑性。即使在深度估计不完善的情况下，该框架仍然表现出鲁棒性和适应性。该方法在多个扩散模型上进行了验证，证明了其通用性和有效性。
🎯 应用场景
StereoCrafter-Zero在虚拟现实、增强现实、游戏开发、电影制作等领域具有广泛的应用前景。它可以用于生成高质量的立体视频内容，提供更具沉浸感的视觉体验。此外，该方法无需配对训练数据，降低了立体视频生成的成本和难度，使得更多人可以参与到立体内容的创作中来。未来，该技术有望应用于3D内容创作、远程呈现、机器人视觉等领域。
📄 摘要（原文）
Generating high-quality stereo videos that mimic human binocular vision requires consistent depth perception and temporal coherence across frames. Despite advances in image and video synthesis using diffusion models, producing high-quality stereo videos remains a challenging task due to the difficulty of maintaining consistent temporal and spatial coherence between left and right views. We introduce StereoCrafter-Zero, a novel framework for zero-shot stereo video generation that leverages video diffusion priors without requiring paired training data. Our key innovations include a noisy restart strategy to initialize stereo-aware latent representations and an iterative refinement process that progressively harmonizes the latent space, addressing issues like temporal flickering and view inconsistencies. In addition, we propose the use of dissolved depth maps to streamline latent space operations by reducing high-frequency depth information. Our comprehensive evaluations, including quantitative metrics and user studies, demonstrate that StereoCrafter-Zero produces high-quality stereo videos with enhanced depth consistency and temporal smoothness, even when depth estimations are imperfect. Our framework is robust and adaptable across various diffusion models, setting a new benchmark for zero-shot stereo video generation and enabling more immersive visual experiences. Our code is in https://github.com/shijianjian/StereoCrafter-Zero.