CausalAlign: Causal Alignment of Video Generation Models for Consistent Ego-Motion

📄 arXiv: 2610.29915v1 📥 PDF

作者: Kai Zhu, Yintianrun Zhang, Shuwei Jiang, Ruolin Zuo, Yixin Chen, Duomin Wang, Miao Liu, Yin Li, Daquan Zhou, Yiwu Zhong

分类: cs.CV

发布日期: 2026-10-21

💡 一句话要点

提出CausalAlign以解决视频生成模型中的摄像机自运动一致性问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频生成 自运动一致性 因果对齐 扩散模型 几何一致性 机器人导航 虚拟现实

📋 核心要点

  1. 现有的扩散视频生成模型在长时间序列中摄像机自运动表现不稳定，导致几何一致性差。
  2. CausalAlign通过因果对齐框架，增强自运动状态并对齐到3D基础模型，解决了自运动漂移问题。
  3. 实验结果表明，CausalAlign在几何一致性上相较于基线模型提升超过20%，并在移动操作任务中提高了成功率10个百分点。

📝 摘要（中文）

基于扩散的视频生成模型（VGM）能够生成视觉上可信的视频，但其摄像机自运动在长时间范围内常常出现漂移。摄像机自运动决定了帧之间视角的变化，对于保持几何一致性和轨迹至关重要。为了解决这一问题，本文提出了CausalAlign，一个包含两个组件的因果对齐框架。首先，通过线性探测和因果干预，我们诊断了VGM中自运动的表示、使用和保留的精确性，揭示了去噪过程中的起伏模式。其次，我们通过将识别层的表示与3D基础模型在增量标记空间中对齐，增强了VGM中的自运动状态。该空间编码了连续帧之间的变化，使对齐能够专注于自运动动态而非静态场景内容。经过在DL3DV和RealEstate10K上的微调，CausalAlign显著提高了运动准确性、几何一致性和时间平滑性，同时保持了视觉质量。

🔬 方法详解

问题定义：本文旨在解决扩散视频生成模型中摄像机自运动的一致性问题。现有方法在长时间序列中自运动表现不稳定，导致生成视频的几何一致性和轨迹不可靠。

核心思路：CausalAlign的核心思路是通过因果对齐框架，增强自运动状态的表示，并将其与3D基础模型进行对齐，从而改善自运动的准确性和一致性。

技术框架：CausalAlign框架包含两个主要组件：首先，通过线性探测和因果干预分析自运动的表示；其次，通过增量标记空间对齐识别层的表示与3D基础模型。

关键创新：CausalAlign的关键创新在于其因果对齐机制，能够专注于自运动动态而非静态场景内容，这与传统方法的静态对齐方式有本质区别。

关键设计：在设计中，增量标记空间用于编码连续帧之间的变化，确保对齐过程能够有效捕捉自运动的动态特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CausalAlign在实验中显示出显著的性能提升，几何一致性相较于基线模型提高超过20%，并且在RoboCasa365基准的移动操作任务中，成功率提升了10个百分点。这些结果表明该方法在实际应用中的有效性和潜力。

🎯 应用场景

CausalAlign的研究成果在多个领域具有潜在应用价值，尤其是在虚拟现实、增强现实和机器人导航等需要高精度视频生成的场景中。通过提高摄像机自运动的一致性，该方法能够为用户提供更流畅和真实的视觉体验，推动相关技术的发展。

📄 摘要（原文）

Diffusion-based video generation models (VGMs) can produce visually plausible videos, yet their camera ego-motion often drifts over long horizons. Camera ego-motion determines how the viewpoint changes between frames and is essential for maintaining consistent geometry and trajectories. To address this problem, we propose CausalAlign, a causal alignment framework with two components. First, we diagnose how precise ego motion is represented, used, and retained within VGMs using linear probes and causal interventions, revealing a rise-and-fall pattern during denoising. Second, we strengthen ego-motion state in VGM by aligning the representations at the identified layers to a 3D foundation model through delta-token space. This space encodes the changes between consecutive frames, allowing the alignment to focus on ego-motion dynamics rather than static scene content. With Wan2.2 fine-tuned on DL3DV and RealEstate10K, CausalAlign can largely improve motion accuracy, geometric consistency, and temporal smoothness, while preserving visual quality. For example, it improves geometric consistency by more than 20% relative to the base model. Moreover, with the fine-tuned VGM, CausalAlign improves the success rate of world action models (WAMs) by 10 points on mobile manipulation tasks of RoboCasa365 benchmark. Overall, CausalAlign improves ego-motion consistency in diffusion-based VGMs and yields noticeable gains in embodied models.