Generative Cinematographer: Composing Camera and Object Motion in 3D
作者: Jiahan Zhang, Chaohao Yang, Namitha Guruprasad, Vivekjyoti Banerjee, Trong-Tung Nguyen, Alan Yuille, Anand Bhattad
分类: cs.CV, cs.AI
发布日期: 2026-10-01
💡 一句话要点
提出Generative Cinematographer以解决3D运动控制模糊问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 可控视频生成 3D运动控制 计算机视觉 图像处理 虚拟现实
📋 核心要点
- 现有的可控视频生成方法在处理相机与物体同时运动时，面临2D轨迹模糊的问题，导致控制效果不佳。
- 论文提出Generative Cinematographer（GenCine），通过将单幅图像转化为可编辑的3D场景，允许艺术家同时控制相机路径和前景运动。
- 实验结果表明，该方法在相机相对运动、几何一致性和多样化场景的可控性方面表现优异，显著提升了生成视频的质量。
📝 摘要（中文）
当前的可控视频生成系统通常依赖于2D运动轨迹或稀疏拖动信号来控制物体运动。这些控制方式存在模糊性，因为相同的2D轨迹可能对应不同的3D运动，尤其是在相机和物体同时移动时。我们提出了Generative Cinematographer（GenCine）系统，该系统将单幅图像提升为可编辑的3D场景框架，艺术家可以共同创作相机和前景运动。艺术家可以指定相机路径，并使用局部3D运动控制器移动选定的前景区域。多个控制器可以独立移动主体的不同部分，提供对非刚性运动的分段刚性近似，而无需物理模拟器或特定类别的先验知识。通过将这些控制传递给预训练的视频模型，我们能够在相机移动的同时描述相对于场景的物体运动。
🔬 方法详解
问题定义：当前可控视频生成系统依赖于2D运动轨迹，导致在相机与物体同时移动时控制模糊，难以实现精确的3D运动控制。
核心思路：本研究提出的GenCine系统通过将单幅图像转化为3D场景框架，允许艺术家使用局部3D运动控制器来精确控制相机和前景运动，解决了现有方法的模糊性问题。
技术框架：系统包括三个主要模块：1) 3D场景构建模块，将单幅图像转化为3D场景；2) 运动控制模块，提供局部3D运动控制器；3) 指导映射模块，将控制信息传递给预训练的视频模型。
关键创新：该方法的创新点在于使用局部3D运动控制器实现对非刚性运动的分段刚性近似，避免了对物理模拟器的依赖，并通过指导映射有效传递控制信息。
关键设计：在设计中，控制器的颜色在每帧中保持固定，确保了运动的连贯性；同时，使用合成视频的真实几何和轨迹进行训练，提升了模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GenCine在相机相对运动方面表现出一致性，几何一致性在视角变化下显著提升，且在多样化真实场景中的可控性强，整体性能较基线方法有明显提升。
🎯 应用场景
该研究的潜在应用领域包括电影制作、游戏开发和虚拟现实等，能够为艺术家提供更高效的工具来创作复杂的3D场景和动态视频。未来，该技术可能推动可控视频生成的进一步发展，使得创作过程更加直观和灵活。
📄 摘要（原文）
Current controllable video generation systems often rely on 2D motion trajectories or sparse drag signals for object motion. These controls are ambiguous because the same 2D trajectory can correspond to different 3D motions, especially when the camera and objects move simultaneously. We present Generative Cinematographer (GenCine), a system that lifts a single image into an editable 3D scene scaffold where artists jointly author camera and foreground motion. Artists specify a camera path and move selected foreground regions using local 3D motion handles. Several handles can move different parts of a subject independently, providing a piecewise-rigid approximation to non-rigid motion without a physics simulator or category-specific prior. To communicate these controls to a pretrained video model, we project them into guidance maps. These maps record where the controlled regions appear in each frame, assign each handle a fixed color across frames and encode the current 3D positions of its controlled points in the same world coordinate system as the background. This lets us describe object motion relative to the scene even as the camera moves. For training, we recover controls from the motion observed in real videos and use ground-truth geometry and trajectories from synthetic videos. We train a lightweight guidance branch and LoRA adapters on a pretrained Wan model to follow these controls. Our experiments show consistent camera-relative motion, improved geometric consistency under viewpoint changes, and strong controllability across diverse real-world scenes.