Diffusion4D: Fast Spatial-temporal Consistent 4D Generation via Video Diffusion Models
作者: Hanwen Liang, Yuyang Yin, Dejia Xu, Hanxue Liang, Zhangyang Wang, Konstantinos N. Plataniotis, Yao Zhao, Yunchao Wei
分类: cs.CV
发布日期: 2024-05-26
备注: Project page: https://vita-group.github.io/Diffusion4D
💡 一句话要点
Diffusion4D：通过视频扩散模型实现快速且时空一致的4D生成
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 4D生成 视频扩散模型 时空一致性 动态3D资产 高斯溅射
📋 核心要点
- 现有4D内容生成方法依赖多扩散模型，存在优化慢、多视角不一致等问题。
- Diffusion4D将视频扩散模型的时间一致性迁移到4D生成的时空一致性，实现高效生成。
- 通过4D感知视频扩散模型和运动幅度引导，快速生成高保真、多视角一致的4D资产。
📝 摘要（中文）
大规模多模态数据集的可用性和扩散模型的进步显著加速了4D内容生成的发展。现有方法主要依赖于多个图像或视频扩散模型，利用分数蒸馏采样进行优化，或生成伪新视角以进行直接监督。然而，这些方法受到优化速度慢和多视角不一致问题的阻碍。4D几何中的空间和时间一致性已分别在3D感知扩散模型和传统单目视频扩散模型中得到广泛探索。在此基础上，我们提出了一种策略，将视频扩散模型中的时间一致性迁移到4D生成所需的时空一致性。具体来说，我们提出了一个新颖的框架Diffusion4D，用于高效且可扩展的4D内容生成。利用精心策划的动态3D数据集，我们开发了一个4D感知视频扩散模型，能够合成动态3D资产的轨道视图。为了控制这些资产的动态强度，我们引入了一个3D到4D的运动幅度度量作为指导。此外，我们提出了一种新的运动幅度重建损失和3D感知无分类器指导，以改进运动动态的学习和生成。在获得4D资产的轨道视图后，我们以由粗到精的方式使用高斯溅射执行显式4D构建。合成的多视角一致4D图像集使我们能够在几分钟内快速生成高保真和多样化的4D资产。大量实验表明，我们的方法在生成效率和跨各种提示模态的4D几何一致性方面超越了先前的最先进技术。
🔬 方法详解
问题定义：现有4D内容生成方法，如基于多个图像或视频扩散模型的方法，存在优化速度慢和多视角不一致的问题。这些方法通常依赖于分数蒸馏采样或生成伪新视角进行监督，计算成本高昂，且难以保证生成结果的时空一致性。
核心思路：论文的核心思路是将视频扩散模型中已经成熟的时间一致性迁移到4D内容生成中，从而实现时空一致性。通过构建一个4D感知的视频扩散模型，并结合运动幅度引导，可以有效地控制和生成动态3D资产的轨道视图。
技术框架：Diffusion4D框架主要包含以下几个阶段：1) 4D感知视频扩散模型训练：利用动态3D数据集训练一个能够合成动态3D资产轨道视图的视频扩散模型。2) 运动幅度引导：引入3D到4D的运动幅度度量作为指导，控制动态资产的运动强度。3) 运动动态优化：提出运动幅度重建损失和3D感知无分类器指导，以改进运动动态的学习和生成。4) 4D重建：使用高斯溅射技术，以由粗到精的方式进行显式4D重建。
关键创新：该论文的关键创新在于：1) 将视频扩散模型的时间一致性迁移到4D生成的时空一致性，避免了传统方法中耗时的优化过程和多视角不一致问题。2) 引入3D到4D的运动幅度度量作为引导，实现了对动态资产运动强度的有效控制。3) 提出运动幅度重建损失和3D感知无分类器指导，进一步提升了运动动态的学习和生成效果。
关键设计：在训练4D感知视频扩散模型时，使用了精心策划的动态3D数据集。运动幅度重建损失旨在最小化预测运动幅度与真实运动幅度之间的差异。3D感知无分类器指导则利用3D信息来提升生成结果的质量和一致性。高斯溅射重建采用由粗到精的策略，逐步提升4D模型的细节和精度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Diffusion4D在生成效率和4D几何一致性方面显著优于现有技术。该方法可以在几分钟内生成高质量的4D资产，并且能够保证生成结果的多视角一致性。与现有方法相比，Diffusion4D在主观视觉质量和客观指标上均取得了显著提升。
🎯 应用场景
Diffusion4D在虚拟现实、增强现实、游戏开发、电影制作等领域具有广泛的应用前景。它可以用于快速生成各种动态3D资产，例如运动的人物、动物、物体等，从而降低内容创作的成本和时间。此外，该技术还可以用于创建逼真的虚拟环境和交互式体验。
📄 摘要（原文）
The availability of large-scale multimodal datasets and advancements in diffusion models have significantly accelerated progress in 4D content generation. Most prior approaches rely on multiple image or video diffusion models, utilizing score distillation sampling for optimization or generating pseudo novel views for direct supervision. However, these methods are hindered by slow optimization speeds and multi-view inconsistency issues. Spatial and temporal consistency in 4D geometry has been extensively explored respectively in 3D-aware diffusion models and traditional monocular video diffusion models. Building on this foundation, we propose a strategy to migrate the temporal consistency in video diffusion models to the spatial-temporal consistency required for 4D generation. Specifically, we present a novel framework, \textbf{Diffusion4D}, for efficient and scalable 4D content generation. Leveraging a meticulously curated dynamic 3D dataset, we develop a 4D-aware video diffusion model capable of synthesizing orbital views of dynamic 3D assets. To control the dynamic strength of these assets, we introduce a 3D-to-4D motion magnitude metric as guidance. Additionally, we propose a novel motion magnitude reconstruction loss and 3D-aware classifier-free guidance to refine the learning and generation of motion dynamics. After obtaining orbital views of the 4D asset, we perform explicit 4D construction with Gaussian splatting in a coarse-to-fine manner. The synthesized multi-view consistent 4D image set enables us to swiftly generate high-fidelity and diverse 4D assets within just several minutes. Extensive experiments demonstrate that our method surpasses prior state-of-the-art techniques in terms of generation efficiency and 4D geometry consistency across various prompt modalities.