WorldForge V2: Eliciting Camera-Trajectory Alignment in Video Diffusion Models
作者: Chenxi Song, Yanming Yang, Tong Zhao, Ruibo Li, Joey Tianyi Zhou, Chi Zhang
分类: cs.CV
发布日期: 2026-10-22
💡 一句话要点
提出WorldForge V2以解决视频扩散模型中的相机轨迹对齐问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视频扩散模型 相机控制 光流分析 生成模型 轨迹对齐
📋 核心要点
- 现有视频扩散模型在相机控制、空间和时间一致性方面存在不足，导致生成效果不理想。
- 提出WorldForge V2，通过训练无关的引导框架和双路径策略，实现精确的相机控制和高质量的生成。
- 在多个数据集上进行定量和定性评估，结果显示该方法在生成质量和轨迹准确性上均优于现有方法。
📝 摘要（中文）
视频扩散模型已学习到丰富的3D/4D先验，使其在场景生成和视频重渲染中展现出良好前景。然而，由于相机控制不精确、空间和时间不一致，以及相机运动与场景动态的纠缠，现有方法在空间任务中的应用受到限制。为此，本文提出WorldForge V2，通过使用扭曲参考进行迭代生成，精确控制相机，同时保持预训练视频模型的生成能力。通过光流分析识别运动相关的潜在通道，实现运动控制与外观的分离。实验结果表明，该方法在多个数据集上实现了最先进的生成质量和轨迹准确性。
🔬 方法详解
问题定义：本文旨在解决视频扩散模型在相机轨迹对齐中的不精确控制问题。现有方法如任务特定微调和后处理扭曲，往往引入视觉伪影，泛化能力差，计算成本高。
核心思路：提出WorldForge V2，通过训练无关的引导框架和光流分析，迭代优化生成过程，精确控制相机运动，同时保持场景外观和物体运动的连贯性。
技术框架：整体架构包括训练无关的引导框架、光流分析模块、双路径策略和v-cache优化。引导框架使用扭曲参考进行迭代生成，光流分析帮助识别运动相关的潜在通道，双路径策略用于比较引导和未引导的预测。
关键创新：最重要的创新在于引入了光流分析和双路径策略，使得运动控制与外观生成能够有效分离，避免了现有方法中常见的伪影问题。
关键设计：采用v-cache来近似修正，避免额外的模型评估，同时引入Trajectory LoRA，集中适应对轨迹引导最敏感的网络块。
🖼️ 关键图片
📊 实验亮点
在多个数据集上的实验结果显示，WorldForge V2在生成质量和轨迹准确性方面均达到了最先进水平，具体性能提升幅度超过了现有基线方法，展示了其在相机控制视频生成中的有效性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和电影制作等，能够为这些领域提供高质量的场景生成和视频重渲染技术。通过精确的相机控制，用户可以获得更真实的视觉体验，推动相关技术的发展。
📄 摘要（原文）
Video diffusion models have learned rich 3D/4D priors, making them promising for scene generation and video re-rendering. However, their use in spatial tasks is limited by imprecise camera control, spatial and temporal inconsistencies, and entangled camera motion with scene dynamics. Existing approaches, such as task-specific fine-tuning and post-process warping, often introduce visual artifacts, generalize poorly, or incur high computational costs. We propose WorldForge V2 to achieve accurate camera control while preserving the generative capabilities of pretrained video models. We first develop a training-free guidance framework using warped references to iteratively refine generation along a target camera path. Optical-flow analysis identifies motion-related latent channels for selective guidance, helping separate motion control from appearance. A dual-path strategy further compares guided and unguided predictions to correct artifacts from imperfect references. Together, these components guide viewpoint changes while preserving scene appearance and object motion. To reduce refinement costs, v-cache approximates the correction using the preceding denoising prediction, avoiding an additional model evaluation. We further extend motion localization from latent channels to network blocks and introduce Trajectory LoRA, which concentrates adaptation on blocks most responsive to trajectory guidance. A two-stage training strategy teaches these adapters to denoise the states encountered during guided generation, using limited supervision effectively. This enables reliable camera control with very little training data, with a single training scene already supporting generalization to unseen scenes. Quantitative and qualitative evaluations across multiple datasets show that our method achieves state-of-the-art generation quality and trajectory accuracy in camera-controlled video generation.