ForcingBooster: Adaptive Patch-wise Denoising for Fast Autoregressive Video Diffusion
作者: Zekai Gu, Peng Wang, Jiahao Lu, Yongsen Mao, Cheng Lin, Yuan Liu
分类: cs.CV
发布日期: 2026-10-08
备注: Project page: https://igl-hkust.github.io/ForcingBooster
💡 一句话要点
提出ForcingBooster以解决视频生成中的计算冗余问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频生成 自回归模型 去噪技术 计算效率 动态分配 视觉质量 深度学习
📋 核心要点
- 现有自回归视频扩散模型在生成视频时均匀分配计算，导致在简单区域上计算冗余，而复杂区域则可能未得到充分细化。
- 本文提出ForcingBooster框架，动态调整各个视频补丁的去噪步骤，简单区域提前停止，复杂区域则增加细化步骤。
- 实验结果显示，ForcingBooster在保持与四步基线相当的视觉质量的同时，去噪步骤减少了约50%。
📝 摘要（中文）
自回归视频扩散模型已成为实时交互视频生成和视频世界建模的主要方法。然而，现有方法在生成下一个视频片段时通常均匀分配计算，忽视了视频内容的空间异质性。为了解决这一问题，本文提出了ForcingBooster框架，动态分配去噪步骤给各个补丁，简单区域提前停止以提高效率，而复杂区域则获得更多的细化步骤。实验表明，该方法在保持视觉质量的同时，减少了约50%的去噪步骤。
🔬 方法详解
问题定义：本文旨在解决自回归视频扩散模型在生成过程中计算资源分配不均的问题。现有方法对所有视频补丁采用相同的去噪步骤，导致在简单区域上存在计算冗余，而复杂区域则可能未得到充分处理。
核心思路：ForcingBooster框架的核心思想是根据视频内容的复杂性动态分配去噪步骤。简单的补丁可以提前停止去噪，以提高整体生成效率，而复杂的补丁则需要更多的去噪步骤进行细化。
技术框架：该方法的整体架构包括一个轻量级的路由模块，负责根据每个补丁的复杂性动态调整去噪步骤。该框架兼容大多数现有的少步自回归扩散模型，仅需进行适度的训练。
关键创新：ForcingBooster的主要创新在于其动态去噪步骤分配机制，显著提高了生成效率，并减少了不必要的计算。与传统方法相比，该方法能够更好地适应视频内容的空间异质性。
关键设计：在实现过程中，ForcingBooster采用了轻量级的路由模块，能够快速评估每个补丁的复杂性，并根据评估结果调整去噪步骤。该设计确保了在保持视觉质量的同时，优化了计算资源的使用。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ForcingBooster在视频补丁上应用的去噪步骤总数减少了约50%，同时保持了与四步基线相当的视觉质量。这一显著的性能提升展示了该方法在提高生成效率方面的有效性。
🎯 应用场景
ForcingBooster框架在实时视频生成、视频编辑和虚拟现实等领域具有广泛的应用潜力。通过提高生成效率和降低计算成本，该方法能够为用户提供更流畅的交互体验，并推动视频内容创作的创新。未来，该技术可能会与其他生成模型结合，进一步提升视频生成的质量和效率。
📄 摘要（原文）
Autoregressive video diffusion models have become a leading approach to real-time interactive video generation and video world modeling. However, existing methods typically allocate computation uniformly across space when generating the next video chunk, updating all patches with the same denoising schedule and number of function evaluations. This ignores the spatial heterogeneity of video content: static, simple, or recurring regions are often easier to denoise, while other regions require further refinement or additional context. A uniform budget thus leads to redundant computation on easy patches, whereas reducing the fixed step count can leave difficult patches insufficiently refined. We introduce \methodname{}, a general framework that dynamically allocates denoising steps to individual patches: easy patches stop early to improve efficiency, while difficult patches receive more refinement steps. This design accelerates generation with negligible quality degradation. Our method is compatible with most existing few-step autoregressive diffusion models, requiring only a lightweight routing module with modest training. Experiments demonstrate that \methodname{} reduces the total number of denoising steps applied across video patches by about 50\% while maintaining visual quality comparable to the four-step baseline.