Memory Forcing: Attendable Mid-Horizon History for Streaming Video Generation
作者: Jiaming Zhang, Xinyu Wang, Huafeng Shi, Gangshan Wu, Limin Wang
分类: cs.CV
发布日期: 2026-10-08
备注: 10 pages, 6 figures
💡 一句话要点
提出Memory Forcing以解决视频生成中的中期遗忘问题
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 视频生成 自回归模型 中期遗忘 动态场景 缓存管理 机器学习 深度学习
📋 核心要点
- 现有的几步视频生成方法在处理长视频时容易出现中期遗忘，无法关注到早期事件。
- 提出Memory Forcing，通过将缓存分为存档和工作区域，保留更多历史信息而不增加缓存大小。
- 实验结果显示，Memory Forcing在生成长视频时表现优异，且在不同长度的视频生成中保持了较小的性能下降。
📝 摘要（中文）
自回归视频扩散技术使得因果视频流生成成为可能，但现有的几步系统通常仅保留固定大小的KV缓存中的开头和最新帧，导致一旦事件离开窗口，后续帧无法再关注到该事件，形成中期遗忘。本文提出Memory Forcing，一种几步流媒体方法，在不增加缓存大小的情况下保留缺失的历史信息。通过将缓存分为存档和工作区域，保留多样的中间事件和近期运动。实验表明，Memory Forcing在较长视频片段上表现优异，并在不同长度的视频生成中保持了较小的性能下降。
🔬 方法详解
问题定义：论文要解决的问题是现有自回归视频生成方法在处理长视频时的中期遗忘现象，即一旦事件离开固定大小的缓存窗口，后续帧无法再关注到该事件。
核心思路：论文提出Memory Forcing，通过将缓存分为存档和工作区域，保留多样的中间事件和近期运动，从而在不增加缓存大小的情况下解决中期遗忘问题。
技术框架：整体架构包括三个主要区域：存档区、工作区和接收区，分别用于存储历史信息、当前生成信息和即将生成的信息。通过Bank-aware RoPE技术，动态调整时间索引，使每个区域在注意力机制中保持可区分性。
关键创新：最重要的技术创新在于Memory Forcing的设计，使得在固定内存条件下，能够有效保留历史信息，避免了传统方法中因缓存限制导致的遗忘问题。
关键设计：在参数设置上，采用了1.3B和Wan2.2 5B的模型，设计了特定的损失函数以优化生成质量，同时确保了生成视频的物理真实性和动态性。通过这种设计，Memory Forcing在生成视频时能够更好地保持场景和主体的连贯性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，Memory Forcing在生成较长视频时表现优异，尤其在从5秒到60秒的生成中，性能下降幅度最小。此外，该方法在Wan2.2 5B模型上生成的视频在物理真实性和动态性方面也表现出色，标志着该领域的一个重要进展。
🎯 应用场景
该研究的潜在应用领域包括视频生成、虚拟现实、游戏开发等，能够为实时视频流生成提供更高的质量和连贯性，具有重要的实际价值。未来，Memory Forcing可能推动更复杂的动态场景生成，提升用户体验。
📄 摘要（原文）
Autoregressive video diffusion enables causal video streaming without a bidirectional pass over the full clip, but existing few-step systems usually retain only the opening and most recent frames in a fixed-size KV cache. Once an event leaves this window, later frames can no longer attend to it, a failure we term mid-horizon forgetting. We present Memory Forcing, a few-step streaming method that preserves this missing history without increasing the cache size. Its Archive \& Working Banks partition the cache into sink, archive, and working regions, retaining diverse intermediate events alongside recent motion under fixed memory. Because absolute temporal indices drift outside the training range, Bank-aware RoPE reassigns indices at attention time so each bank remains distinguishable. At 1.3B, Memory Forcing leads on longer clips, shows the smallest drop from 5s to 60s among methods reporting all four lengths, and preserves subjects and scenes through leave-and-return. The same design scales to Wan2.2 5B, producing more physically plausible, realistic, and dynamic videos and, to our knowledge, the first public 5B model on this forcing line.