SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching
作者: Zhendong Mi, Pu Zhao, Ziyu Hu, Xiaodong Yu, Yanzhi Wang, Grace Li Zhang, Shaoyi Huang
分类: cs.CV
发布日期: 2026-10-02
💡 一句话要点
提出SpectralCache以解决扩散模型推理效率低下问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 扩散模型 推理效率 谱缓存 奇异值估计 虚拟现实 环境生成
📋 核心要点
- 现有扩散模型在去噪过程中需要多次Transformer评估，导致推理效率低下。
- 提出SpectralCache，通过重用稳定的奇异子空间和线性外推来加速推理过程。
- 在HunyuanWorld-Voyager-13B上，SpectralCache实现了5.22倍的加速，同时保持了65.90的WorldScore，显著优于现有方法。
📝 摘要（中文）
扩散模型在生成高质量交互环境方面表现出色，但由于在去噪过程中需要重复评估Transformer，导致推理开销巨大。现有的缓存方法主要利用特征或标记级别的时间冗余，未能深入探讨扩散特征的数学结构。本文揭示了世界模型特征在相邻去噪步骤中展现出高度稳定的奇异子空间，并且其奇异值遵循可预测的演变模式。基于此观察，我们提出了SpectralCache，一个无训练的谱缓存框架，通过重用稳定的奇异子空间并仅通过线性外推估计低维奇异值，从而提高推理效率。大量实验表明，SpectralCache在保持生成质量的同时，显著提升了推理效率。
🔬 方法详解
问题定义：本文旨在解决扩散模型在推理过程中由于重复Transformer评估而导致的效率低下问题。现有方法主要依赖时间冗余，未能充分利用扩散特征的数学结构。
核心思路：通过揭示世界模型特征在相邻去噪步骤中展现出的稳定奇异子空间，SpectralCache能够重用这些子空间并通过线性外推来估计低维奇异值，从而减少计算开销。
技术框架：SpectralCache的整体架构包括特征提取、奇异值估计和基于奇异值缩放的计算跳过三个主要模块。首先提取特征，然后估计奇异值，最后根据估计结果决定是否跳过某些昂贵的计算步骤。
关键创新：SpectralCache的核心创新在于首次利用扩散特征的奇异子空间稳定性和奇异值的可预测性，设计出一种无训练的谱缓存框架，与现有方法相比，显著提高了推理效率。
关键设计：在设计中，SpectralCache采用了线性外推方法来估计奇异值，并通过奇异值缩放来选择性跳过计算，确保在加速的同时不损失生成质量。
🖼️ 关键图片
📊 实验亮点
在HunyuanWorld-Voyager-13B上，SpectralCache实现了5.22倍的推理加速，同时保持了65.90的WorldScore，显著优于现有的无训练缓存方法，展示了其在推理效率和生成质量上的双重优势。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、游戏开发和智能机器人等需要实时环境生成的场景。通过提高扩散模型的推理效率，SpectralCache能够在这些领域中实现更流畅的用户体验和更高效的资源利用，具有重要的实际价值和未来影响。
📄 摘要（原文）
Diffusion-based world models enable high-quality interactive environment generation but suffer from substantial inference overhead due to repeated Transformer evaluations during denoising. Existing caching methods mainly exploit temporal redundancy at the feature or token level, leaving the underlying mathematical structure of diffusion features largely unexplored. In this work, we reveal that world-model features exhibit highly stable singular subspaces across nearby denoising steps, while their singular values follow predictable evolution patterns. Building on this observation, we propose SpectralCache, a training-free spectral caching framework that reuses stable singular subspaces and estimates only low-dimensional singular values through linear extrapolation. We further exploit the spectral consistency between neighboring full-computation features to skip selected expensive backbone evaluations via singular value scaling. Extensive experiments on representative world models demonstrate that SpectralCache consistently improves inference efficiency while preserving generation quality. On HunyuanWorld-Voyager-13B, SpectralCache achieves 5.22x acceleration while maintaining a WorldScore of 65.90 for static scenes, substantially outperforming existing training-free caching methods in inference efficiency.