Recast the Past: Stable Long Video Generation with Full Context Memory

📄 arXiv: 2610.27986v1 📥 PDF

作者: Yukuo Ma, Cong Liu, Junke Wang, Junqi Liu, Haibin Huang, Zuxuan Wu, Xuelong Li

分类: cs.CV, cs.AI

发布日期: 2026-10-20

备注: Code: https://github.com/scottykma/Recam

💡 一句话要点

提出ReCam以解决长视频生成中的历史信息保留问题

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 长视频生成 自注意力机制 历史信息保留 双指针去噪 扩散变换器

📋 核心要点

  1. 长视频生成面临历史信息保留的挑战，现有方法在处理扩展的令牌序列时成本高且可能丢失重要信息。
  2. 本文提出ReCam，通过将历史潜在变量分组并投影到高维空间，利用自注意力机制减少令牌数量，同时保留完整历史信息。
  3. ReCam在VBench-Long上获得80.1的最高得分，并在四项一致性指标上超越最佳基线，显示出显著的性能提升。

📝 摘要（中文）

长时间视频生成需要保留不断扩展的历史信息，但对其增长的令牌序列进行条件处理成本高昂。现有方法限制或压缩历史上下文，可能导致未来生成所需信息的丢失。本文提出ReCam，通过将历史潜在变量的局部时空块分组为向量，并直接投影到扩散变换器的高维隐藏空间中，模型学习通过原生自注意力使用生成的记忆令牌，减少令牌数量，同时保留对完整历史的块级访问。为减轻自回归生成过程中的时间漂移，我们进一步引入了双指针去噪，针对近期上下文和目标帧采用不同的噪声调度。ReCam在评估方法中取得了80.1的VBench-Long总体得分，并在R2M-Bench上表现出竞争力的静态场景重现性能。

🔬 方法详解

问题定义：长视频生成需要处理不断扩展的历史信息，现有方法在条件处理上存在高成本和信息丢失的问题。

核心思路：ReCam通过将历史潜在变量分组为局部时空块并投影到高维隐藏空间，利用自注意力机制有效管理历史信息，减少令牌数量。

技术框架：模型主要包括历史潜在变量的分组、投影到高维空间、以及自注意力机制的应用，此外还引入了双指针去噪以减轻时间漂移。

关键创新：ReCam的核心创新在于通过分组和投影技术实现了对历史信息的有效管理，显著提高了生成效率和信息保留能力。

关键设计：模型设计中采用了特定的参数设置和损失函数，以优化自注意力机制的性能，并通过双指针去噪策略提升了生成过程的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ReCam在VBench-Long上获得80.1的最高得分，显示出其在长视频生成中的优越性。此外，在R2M-Bench上，ReCam在静态场景重现性能上表现出色，四项一致性指标中，服装一致性得分为4.09，明显高于最佳基线的3.03，展现了显著的性能提升。

🎯 应用场景

该研究在长视频生成领域具有广泛的应用潜力，尤其适用于影视制作、虚拟现实和游戏开发等场景。通过有效保留历史信息，ReCam能够生成更连贯和一致的视频内容，提升用户体验。未来，该技术可能推动更复杂的多模态生成任务的发展。

📄 摘要（原文）

Long-horizon video generation requires retaining an ever-expanding history, but conditioning on its growing token sequence is costly. Existing methods restrict or compress historical context, potentially losing information needed for future generation. This work proposes ReCam, which groups local spatiotemporal blocks of historical latents into vectors and projects them directly into the high-dimensional hidden space of a Diffusion Transformer. The model learns to use the resulting memory tokens through native self-attention, reducing token count while retaining block-level access to the full history. To mitigate temporal drift during autoregressive rollout, we further introduce dual-pointer denoising with separate noise schedules for recent context and target frames. Among the evaluated methods, ReCam achieves the highest VBench-Long overall score of 80.1 and competitive static-scene revisitation performance on R2M-Bench. It also leads on all four consistency metrics for off-screen subject reappearance, including clothing consistency of 4.09 versus 3.03 for the best baseline.