CtrlCache: Accelerating Interactive Video World Models with Control-Aware Caching

📄 arXiv: 2610.08777v1 📥 PDF

作者: Shangye Song, Dong Gong, Hong Jia, Yun Sing Koh, Xinyu Zhang

分类: cs.CV

发布日期: 2026-10-06

备注: 18 pages. Project page: https://wrecklong.github.io/CtrlCache/

💡 一句话要点

提出CtrlCache以解决交互视频世界模型的计算效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 交互视频生成 控制感知 缓存机制 计算效率 去噪优化 深度学习

📋 核心要点

  1. 现有交互视频生成方法在响应用户控制时，计算成本高且效率低，尤其是在去噪迭代过程中。
  2. CtrlCache通过分析控制信号与去噪过程的关系，提出了一种控制感知的缓存策略，优化了计算资源的使用。
  3. 在Matrix-Game 2.0和LingBot-World v1/v2上的实验表明，CtrlCache实现了1.21x至1.41x的速度提升，同时提高了WBench总体评分。

📝 摘要（中文）

交互视频世界模型需要高效生成视频片段，同时准确响应用户控制。现有系统采用逐块自回归生成和少量去噪，但每个片段仍需多次昂贵的去噪迭代。训练无关的缓存可以降低成本，但现有策略主要基于模型内部去噪动态，未明确考虑控制转变。为此，本文提出CtrlCache，一个训练无关的控制感知缓存框架，通过分析不同控制状态下的相邻片段，发现结构相似性在动作变化时下降，而低频结构比高频细节更持久。该框架通过动作感知调度和刷新策略，优化计算以适应当前控制序列，显著提高了生成效率。

🔬 方法详解

问题定义：本文旨在解决交互视频世界模型在生成视频片段时的计算效率问题。现有方法在去噪过程中需要多次迭代，导致计算成本高昂，且未充分利用控制信号。

核心思路：CtrlCache的核心思路是利用控制信号来优化去噪过程，通过分析相邻片段的控制状态变化，动态调整计算资源的使用。这样设计的目的是为了减少不必要的计算，同时保持生成质量。

技术框架：CtrlCache框架包括动作感知调度和刷新策略，首先对每个片段进行标记（初始、过渡、转变或稳定状态），然后在特定的去噪步骤中，初始和过渡片段保留全部计算，而转变和稳定片段则重用最近完全计算的残差。

关键创新：CtrlCache的主要创新在于其训练无关的控制感知缓存机制，能够根据控制序列动态调整计算，而不是依赖于模型内部的去噪动态。这一方法显著提高了计算效率。

关键设计：在设计中，CtrlCache引入了频率混合的历史先验引导，利用前一干净潜在信息的互补性，而无需额外的DiT前向传递。这一设计使得在稳定交互过程中能够更好地利用低频结构的持久性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Matrix-Game 2.0和LingBot-World v1/v2的实验中，CtrlCache实现了1.21x至1.41x的速度提升，相较于原始推理方法，WBench总体评分也得到了显著提高，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟现实和增强现实等交互式视频生成场景。通过提高生成效率，CtrlCache能够为用户提供更流畅的交互体验，推动相关技术的进一步发展和应用。未来，该框架可能在实时视频处理和智能交互系统中发挥重要作用。

📄 摘要（原文）

Interactive video world models need to generate each video chunk efficiently while responding faithfully to user controls. Many systems use chunk-wise autoregressive generation with few-step denoising, but each chunk still requires several costly denoising iterations. Training-free caching can reduce this cost, yet existing policies make reuse decisions primarily from model-internal denoising dynamics and do not explicitly account for control transitions. Actually, interactive generation explicitly exposes a signal they do not use: the controls for a chunk arrive before it is denoised, so a schedule derived from them costs no forward pass. To this end, we analyze adjacent chunks under different control regimes and find that structural similarity drops around action changes, while low-frequency structure remains more persistent than high-frequency detail. Motivated by these observations, we propose CtrlCache, a training-free control-aware caching framework that adapts computation to the current control sequence. Specifically, the action-aware scheduling and refresh policy detects action changes across and within chunks, and labels each chunk as initial, transition, turning, or steady state. At one selected interior denoising step, initial and transition chunks retain full computation, while turning and steady chunks reuse the transformer residual from the most recent fully computed step in the same chunk. To exploit the persistence of low-frequency structure during steady interaction, we further introduce a frequency-mixed history prior guidance that incorporates complementary information from the preceding clean latent without an additional DiT forward pass. Evaluated on Matrix-Game 2.0 and LingBot-World v1/v2, CtrlCache achieves 1.21x to 1.41x DiT-backbone speedups without model retraining while improving WBench Overall scores over original inference across all three models.