BulletTime: Decoupled Control of Time and Camera Pose for Video Generation
作者: Yiming Wang, Qihang Zhang, Shengqu Cai, Tong Wu, Jan Ackermann, Zhengfei Kuang, Yang Zheng, Frano Rajič, Siyu Tang, Gordon Wetzstein
分类: cs.CV
发布日期: 2025-12-04
备注: Project Page: https://19reborn.github.io/Bullet4D/
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
BulletTime：解耦时间和相机姿态的视频生成框架，实现精确的4D控制。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 视频生成 扩散模型 4D控制 相机姿态 时间控制 解耦控制 位置编码 自适应归一化
📋 核心要点
- 现有的视频扩散模型将场景动态与相机运动耦合，限制了对时空的精确控制。
- BulletTime框架通过解耦场景动态和相机姿态，并引入4D位置编码和自适应归一化，实现精细的4D控制。
- 实验表明，该模型在保持生成质量的同时，实现了对时间和相机运动的鲁棒控制，并在可控性上优于现有方法。
📝 摘要（中文）
本文提出了一种4D可控的视频扩散框架，该框架显式地将场景动态与相机姿态解耦，从而能够对场景动态和相机视角进行精细的控制。该框架以连续的世界时间序列和相机轨迹作为条件输入，通过在注意力层中的4D位置编码和用于特征调制的自适应归一化，将它们注入到视频扩散模型中。为了训练该模型，作者构建了一个独特的数据集，其中时间和相机变化是独立参数化的；该数据集将公开。实验表明，该模型在各种时间模式和相机轨迹上实现了鲁棒的真实世界4D控制，同时保持了高质量的生成效果，并在可控性方面优于先前的工作。
🔬 方法详解
问题定义：现有视频生成模型的一个主要痛点在于，场景中的物体运动（时间维度）和相机的运动（空间维度）是紧密耦合在一起的。这意味着用户难以独立地控制这两个因素，例如，无法在保持物体运动不变的情况下改变相机轨迹，或者反过来。这限制了视频生成的可控性和灵活性。
核心思路：BulletTime的核心思路是将场景动态（时间）和相机姿态（空间）进行解耦，分别进行控制。通过将时间和相机轨迹作为独立的条件输入，并设计相应的网络结构，使得模型能够分别处理这两个因素，从而实现对视频生成过程的精细控制。这样，用户就可以独立地调整时间和相机运动，生成具有特定效果的视频。
技术框架：BulletTime框架主要包含以下几个关键模块：1) 4D位置编码：将连续的世界时间序列和相机轨迹编码成4D位置信息，作为模型的输入。2) 视频扩散模型：使用扩散模型作为视频生成的主体框架。3) 注意力层注入：将4D位置编码注入到注意力层中，使得模型能够感知时间和空间信息。4) 自适应归一化：使用自适应归一化（Adaptive Normalization）对特征进行调制，从而更好地融合时间和空间信息。整体流程是，首先将时间和相机轨迹进行编码，然后将其注入到视频扩散模型中，最后通过扩散过程生成视频。
关键创新：该论文最重要的创新点在于显式地解耦了时间和相机姿态，并设计了相应的网络结构来实现对这两个因素的独立控制。与现有方法相比，BulletTime框架能够提供更精细的4D控制，使得用户可以更加灵活地生成具有特定效果的视频。此外，专门构建的独立参数化时间和相机变化的数据集也是一个重要的贡献。
关键设计：在4D位置编码方面，论文使用了连续的位置编码方式，以更好地表示时间和空间信息。在自适应归一化方面，论文使用了类似于StyleGAN的风格调制方法，将时间和空间信息融入到特征中。此外，论文还设计了一个专门的数据集，其中时间和相机变化是独立参数化的，这对于训练模型至关重要。损失函数方面，采用了标准的扩散模型训练损失。
🖼️ 关键图片
📊 实验亮点
实验结果表明，BulletTime框架在各种时间模式和相机轨迹上实现了鲁棒的真实世界4D控制，同时保持了高质量的生成效果。与现有方法相比，BulletTime框架在可控性方面取得了显著的提升。论文展示了大量高质量的视频生成结果，证明了该框架的有效性。具体性能数据和对比基线可以在论文原文和项目网站上找到。
🎯 应用场景
该研究成果可应用于电影特效制作、游戏开发、虚拟现实等领域。例如，可以用于生成具有特定相机运动和时间效果的视频片段，或者用于创建虚拟场景中的动态物体运动。此外，该技术还可以用于数据增强，通过改变相机姿态和时间参数来生成更多样化的训练数据，从而提高模型的泛化能力。未来，该技术有望进一步发展，实现更加复杂和逼真的视频生成。
📄 摘要（原文）
Emerging video diffusion models achieve high visual fidelity but fundamentally couple scene dynamics with camera motion, limiting their ability to provide precise spatial and temporal control. We introduce a 4D-controllable video diffusion framework that explicitly decouples scene dynamics from camera pose, enabling fine-grained manipulation of both scene dynamics and camera viewpoint. Our framework takes continuous world-time sequences and camera trajectories as conditioning inputs, injecting them into the video diffusion model through a 4D positional encoding in the attention layer and adaptive normalizations for feature modulation. To train this model, we curate a unique dataset in which temporal and camera variations are independently parameterized; this dataset will be made public. Experiments show that our model achieves robust real-world 4D control across diverse timing patterns and camera trajectories, while preserving high generation quality and outperforming prior work in controllability. See our website for video results: https://19reborn.github.io/Bullet4D/