LongForcing: Scaling Temporal Manifold Matching for Long-Horizon World Rollout
作者: Ziyu Zhu, Zhaoxu Sun, Fan Jiang, Mengchao Wang, Junfeng Ni, Ting-Bing Xu, Zhicheng Liu, Mu Xu
分类: cs.CV
发布日期: 2026-10-13
🔗 代码/项目: GITHUB
💡 一句话要点
提出LongForcing以解决长时间世界模型生成中的监督缺失问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长视频生成 自回归模型 蒸馏训练 长视野监督 交互式模型
📋 核心要点
- 现有自回归视频扩散模型在长时间生成中存在逐步漂移的问题，导致生成质量下降和物体身份崩溃。
- LongForcing通过扩展教师监督到长时间自生成，解决了短视野蒸馏无法直接监督后续状态的问题。
- 在文本到视频生成和交互式世界模型中，LongForcing显著提高了生成质量和动作分数，验证了其有效性。
📝 摘要（中文）
自回归视频扩散模型已成为长时间世界生成的基础。然而，当生成超出训练窗口时，这些模型会遭遇逐步漂移的问题，导致视觉质量下降、运动不一致和物体身份崩溃。本文研究了监督视野差距，表明短视野蒸馏无法直接监督后续生成状态。我们提出LongForcing，一种扩展教师监督到长学生自生成的蒸馏方法，保持短视野教师强制和因果ODE蒸馏阶段，同时在最终分布匹配阶段用长视野双向教师替代真实分数教师。LongForcing在文本到视频生成和交互式动作条件世界模型上取得了85.52的VBench质量分数，并在第一人称实验中将WorldRoamBench 60秒动作分数提高了23.9分。
🔬 方法详解
问题定义：本文旨在解决自回归视频扩散模型在长时间生成中的逐步漂移问题，现有方法在短视野蒸馏下无法有效监督后续生成状态，导致生成质量下降。
核心思路：LongForcing的核心思想是通过引入长视野双向教师来扩展教师监督，从而在长时间自生成中保持生成质量，避免短视野蒸馏的监督缺失。
技术框架：LongForcing的整体架构包括短视野教师强制、因果ODE蒸馏和长视野分布匹配三个主要阶段。短视野教师提供初始监督，因果ODE蒸馏用于稳定生成过程，而长视野教师则在最后阶段进行分布匹配。
关键创新：LongForcing的创新在于引入了长视野双向教师，替代了传统的真实分数教师，这一设计使得长时间自生成的监督更加有效，显著提高了生成质量。
关键设计：在技术细节上，LongForcing保持了学生架构不变，未增加推理成本，同时采用标准的分布匹配公式进行长视野监督，确保了生成过程的高效性和准确性。
🖼️ 关键图片
📊 实验亮点
LongForcing在文本到视频生成中取得了85.52的VBench质量分数，并在第一人称实验中将WorldRoamBench 60秒动作分数提高了23.9分，展示了其在长时间生成中的显著性能提升。
🎯 应用场景
该研究在长时间视频生成、交互式模拟和虚拟现实等领域具有广泛的应用潜力。通过提升长时间生成的质量，LongForcing可用于创建更真实的虚拟环境和增强用户体验，推动相关技术的发展。
📄 摘要（原文）
Autoregressive video diffusion models have emerged as a foundation for long-horizon world rollout. However, when extended far beyond their training windows, these models suffer from progressive drift: visual quality deteriorates, motion becomes inconsistent, and object identity gradually collapses as generated frames are recursively reused as context. We study a supervision-horizon gap: short-horizon distillation leaves later rollout states without direct supervision. We show that matching short-window marginals need not determine long-horizon behavior, while longer on-policy trajectories expose delayed failures to training. This motivates temporal manifold matching at scale for long-horizon world models. Building on this insight, we introduce LongForcing, a distillation approach that scales teacher supervision to long student self-rollouts. LongForcing preserves the short-horizon teacher-forcing and causal ODE-distillation stages, while replacing the realscore teacher in the final distribution-matching stage with an extended-horizon bidirectional teacher. The long-horizon teacher supervises extended student self-rollouts using the standard distribution-matching formulation, without modifying the student architecture or increasing inference cost. We evaluate LongForcing on text-to-video generation and interactive action-conditioned world models, achieving a VBench Quality score of 85.52 and improving WorldRoamBench 60s action score by 23.9 points in first-person ablations. Qualitative stress tests further sample interactive rollouts up to 24 hours, far beyond the training horizon. These results suggest that scaling supervision along the temporal axis is a practical step toward long-horizon world models. The project website and code are at https://github.com/Fantasy-AMAP/LongForcing.