GAD: Geometry Attention Distillation for Consistent Video Generation

📄 arXiv: 2610.18779v1 📥 PDF

作者: Junfeng Ni, Ziyu Zhu, Fan Jiang, Yu Liu, Chiyu Wang, Jiawei Zhang, Zhaoxu Sun, Mu Xu, Siyuan Huang, Yixin Chen

分类: cs.CV

发布日期: 2026-10-13

备注: Project page: https://fantasy-amap.github.io/GAD/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出几何注意力蒸馏以解决视频生成中的一致性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频生成 几何注意力 蒸馏训练 跨帧匹配 动态一致性 信息交换 深度学习

📋 核心要点

  1. 现有视频生成方法在保持场景几何和物体结构一致性方面存在不足，导致生成序列的质量下降。
  2. 提出几何注意力蒸馏（GAD），通过将几何模型的注意力对应关系转移到视频注意力中，增强跨帧信息交换。
  3. 实验结果显示，GAD在Wan2.2 5B数据集上提升了跨帧匹配准确率至少30%，显著改善了视频生成的一致性。

📝 摘要（中文）

视频扩散模型能够生成视觉上引人注目的短期序列，但在时间上保持场景几何和物体结构方面常常面临挑战。本文首先展示了当前视频注意力无法在帧间识别可靠的对应关系，响应分散在多个区域。我们认为，可靠的跨帧关联对于信息交换至关重要，因此提出了几何注意力蒸馏（GAD），将冻结几何模型的注意力中的对应关系转移到视频注意力中。通过在干净视频中提取的这些对应关系，链接相同的静态表面或移动物体。实验表明，GAD在所有三种视频骨干网络上提高了长距离场景一致性和动态时间一致性，且在生成长度上具有几何增益。

🔬 方法详解

问题定义：本文旨在解决视频生成过程中场景几何和物体结构在时间上的一致性问题。现有方法在帧间的注意力响应分散，无法有效识别对应关系，导致生成质量下降。

核心思路：论文提出几何注意力蒸馏（GAD），通过将来自冻结几何模型的注意力对应关系转移到视频模型中，以增强视频生成过程中的跨帧信息交换。

技术框架：GAD的整体架构包括两个主要模块：几何模型和视频模型。几何模型用于提取稳定的对应关系，而视频模型则通过蒸馏过程学习这些对应关系，以提高注意力的一致性。

关键创新：GAD的核心创新在于通过注意力蒸馏机制实现了从几何模型到视频模型的有效信息传递，确保了在生成过程中对相同物体或表面的关注更加一致。与现有方法相比，GAD在处理动态场景时表现出更好的几何一致性。

关键设计：在设计中，选择了根据噪声时间步长的学生层进行注意力蒸馏，确保在不同噪声水平下有效提取对应关系。损失函数的设计也考虑了跨帧匹配的准确性，以优化模型的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GAD在Wan2.2 5B数据集上提升了跨帧匹配准确率至少30%，在长距离基准测试中显著改善了场景一致性和动态时间一致性，展示了其在视频生成中的有效性。

🎯 应用场景

该研究的潜在应用领域包括视频生成、虚拟现实和增强现实等场景，能够为动态场景的模拟提供更高的真实感和一致性。未来，GAD可能在自动视频编辑和智能监控等领域发挥重要作用，提升用户体验和系统效率。

📄 摘要（原文）

Video diffusion models generate visually compelling short-term sequences but often struggle to preserve scene geometry and object structure over time. In this paper, we first demonstrate that current video attention cannot identify reliable correspondences across frames, with responses dispersed across multiple regions even after recognizable scene structure has emerged. We argue that reliable cross-frame associations are essential for information exchange as scene structure forms in video generation. Thus, we introduce Geometry Attention Distillation (GAD), which transfers correspondences from a frozen geometry model's attention to video attention. Extracted from clean videos, these correspondences link the same static surface or moving object across frames. Since structure formation begins in deeper layers at higher noise and shallower layers at lower noise, we apply attention distillation at a student layer selected according to the noise timestep. After training, video attention focuses more consistently on corresponding locations. Experiments across all three video backbones demonstrate improved long-range scene consistency and dynamic temporal consistency, with geometric gains across generation lengths. On Wan2.2 5B, GAD improves cross-frame matching accuracy by at least 30% over the Wan baseline on both long-range benchmarks. Notably, GAD achieves these gains without additional inference modules, offering a promising approach to efficient and consistent video-based world simulation. Project page: https://fantasy-amap.github.io/GAD/.