Direct Forcing: A Single-Stage Training Recipe for Few-Step Autoregressive Text-to-Video Generation
作者: Haojun Xu, Jie Huang, Xin Lu, Mingchen Zhong, Zihao Fan, Linjiang Huang, Si Liu
分类: cs.CV, cs.AI
发布日期: 2026-10-22
💡 一句话要点
提出Direct Forcing以解决视频生成中的训练效率问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 视频生成 自回归模型 因果适应 分布匹配 动态梯度平衡 多模态生成 流媒体技术
📋 核心要点
- 现有的视频生成方法在训练过程中将因果适应与分布匹配分开，导致效率低下。
- 本文提出Direct Forcing框架，利用参考视频进行因果延续对齐和分布匹配，简化训练过程。
- 实验结果表明，该方法在250次更新内实现了四步自回归生成器的高效学习，性能显著提升。
📝 摘要（中文）
少步自回归视频生成能够实现低延迟流媒体传输，但现有训练流程将因果适应与分布匹配分开。本文提出Direct Forcing，一个单阶段框架，利用参考视频作为历史延续的配对示例和自生成回放的目标分布。通过因果延续对齐学习配对的时空对应关系，同时使用最大均值差异对齐自生成视频与参考视频的表示分布。结合这两种互补信号，使预训练的视频模型能够在单一训练阶段学习因果延续和目标视频分布。动态梯度平衡在训练过程中调整延续对齐与分布匹配的相对梯度贡献。该方法在250次更新中学习到四步自回归生成器，取得了84.63的VBench总分和86.01的质量分，且不需要单独的初始化阶段或在线扩散评分监督。
🔬 方法详解
问题定义：本文旨在解决现有视频生成方法在训练中因果适应与分布匹配分开的效率问题，导致生成延迟和性能不足。
核心思路：Direct Forcing框架通过将参考视频作为配对示例和目标分布，允许模型在单一阶段内同时学习因果延续和目标视频分布，从而提高训练效率。
技术框架：该方法包括因果延续对齐模块和回放分布匹配模块，前者学习时空对应关系，后者通过最大均值差异对齐自生成视频与参考视频的表示分布。动态梯度平衡机制则在训练过程中调整这两者的相对贡献。
关键创新：最重要的创新在于将因果适应与分布匹配整合为一个单一的训练阶段，避免了传统方法中的初始化阶段，从而显著提升了训练效率。
关键设计：在训练过程中，采用动态梯度平衡来优化因果延续对齐和分布匹配的损失函数，确保模型能够有效学习不同层次的特征，深层特征有助于延续对齐，而中间特征则更适合分布匹配。具体的网络结构和参数设置在实验中进行了详细调优。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Direct Forcing在250次更新内成功训练出四步自回归生成器，VBench总分达到84.63，质量分为86.01，显著优于传统方法，且无需单独的初始化阶段或在线扩散评分监督，展示了其高效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括视频生成、流媒体传输和多模态内容创作等。通过提高视频生成的效率和质量，Direct Forcing框架可以为实时视频应用提供更好的支持，推动相关技术的发展和应用。未来，随着模型的进一步优化，该方法有望在更广泛的场景中得到应用。
📄 摘要（原文）
Few-step autoregressive video generation enables low-latency streaming, yet prevailing training pipelines separate causal adaptation from distribution matching. Recent representation-based text-to-video methods retain this separation by starting from ODE-initialized checkpoints, even when the target distribution is defined directly by reference videos. We introduce Direct Forcing, a single-stage framework that uses reference videos both as paired examples of how a history continues and as a target population for self-generated rollouts. Causal Continuation Alignment learns paired spatiotemporal correspondence under reference histories, while Rollout Distribution Matching uses maximum mean discrepancy to align the representation distributions of self-generated and reference videos. Together, these complementary signals allow a pretrained video model to learn causal continuation and the target video distribution in a single training stage. Dynamic Gradient Balancing adapts the relative gradient contributions of continuation alignment and distribution matching during training. Starting from bidirectional Wan2.1-1.3B, Direct Forcing learns a four-step autoregressive generator in 250 updates without a separate initialization stage or online diffusion-score supervision, achieving 84.63 VBench Total and 86.01 Quality. Ablation studies further demonstrate the benefits of dynamic gradient balancing and reveal distinct representation preferences: deeper features benefit continuation alignment, whereas intermediate features yield better performance for rollout distribution matching.