QuantWM: Temporally Consistent 2-Bit KV Cache Quantization for World Models and Video Generation

📄 arXiv: 2609.26425v1 📥 PDF

作者: Jiaqi Zhao, Xiaobin Hu, Bo Yin, Junpeng Jiang, Miao Zhang, Shuicheng Yan

分类: cs.CV, cs.AI

发布日期: 2026-09-22

💡 一句话要点

提出QuantWM以解决KV缓存量化中的视觉退化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频生成 KV缓存 量化方法 计算机视觉 注意力机制 内存优化 深度学习

📋 核心要点

  1. 现有的2比特KV缓存量化方法在视频生成中表现良好，但仍存在严重的视觉退化和时间闪烁问题。
  2. 本文提出QuantWM框架，通过保留注意力逻辑和时间空间令牌选择，解决KV缓存量化中的视觉退化问题。
  3. 实验结果表明，QuantWM在多个基准测试中显著提高了视觉质量和时间一致性，KV缓存内存压缩率达到6.20倍。

📝 摘要（中文）

KV缓存内存已成为视频生成和世界模型部署的主要瓶颈，这促使低比特量化的研究以提高效率。现有的2比特KV缓存量化方法在视频基准测试中表现出几乎无损的性能，但仍导致严重的时间闪烁和视觉退化。本文提出QuantWM，一个无训练且严格因果的2比特KV缓存量化框架，通过显式保留注意力逻辑和时间空间令牌选择来缓解视觉退化问题。QuantWM引入量化敏感性意识聚类和主子空间注意力补偿两项技术，显著提高视觉质量和时间一致性，同时在图像和视频质量指标上超越现有方法，KV缓存内存压缩率高达6.20倍，额外开销有限。

🔬 方法详解

问题定义：本文旨在解决现有2比特KV缓存量化方法导致的视觉退化和时间闪烁问题。现有方法在量化过程中未能有效保留注意力逻辑，导致输出质量下降。

核心思路：QuantWM通过显式保留注意力逻辑和时间空间令牌选择，减少量化过程中的视觉退化。该方法结合量化敏感性意识聚类和主子空间注意力补偿，旨在提高量化后的输出质量。

技术框架：QuantWM框架包括两个主要模块：量化敏感性意识聚类（QSAC）和主子空间注意力补偿（PSAC）。QSAC通过考虑历史查询敏感性和残差范围，选择适合INT2的关键中心；PSAC则通过低秩投影修复剩余的关键误差。

关键创新：QuantWM的创新之处在于其训练自由性和严格因果性设计，显著改善了注意力逻辑的稳定性，与现有方法相比，减少了视觉退化的影响。

关键设计：在QSAC中，选择INT2友好的关键中心时，考虑了历史查询的敏感性和残差范围；在PSAC中，采用低秩投影来恢复关键误差，确保注意力逻辑的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

QuantWM在多个基准测试中表现出色，显著提高了视觉质量和时间一致性。实验结果显示，QuantWM在图像和视频质量指标上超越了现有方法，KV缓存内存压缩率高达6.20倍，且额外开销有限。

🎯 应用场景

该研究的潜在应用领域包括视频生成、世界模型构建以及其他需要高效内存管理的计算机视觉任务。通过提高KV缓存的量化效率，QuantWM能够在资源受限的环境中实现更高质量的视觉输出，具有广泛的实际价值和未来影响。

📄 摘要（原文）

KV cache memory has become a major deployment bottleneck for video generation and world models, which motivates low-bit quantization study for efficiency. Existing 2-bit KV cache quantization methods can achieve nearly lossless performance on video benchmarks such as VBench, however, we find that they still cause severe temporal flickering and visual degradation. Meanwhile, deeper investigates show that Key quantization produces smaller reconstruction errors than Value, but surprisingly leads to much larger output degradation. We trace this discrepancy to attention: small Key perturbations can change the attention logits, i.e., QK^\top, and shift the temporal-spatial tokens selected by Queries. These observations motivate us to explicitly preserve attention logits and temporal-spatial token selection during KV cache quantization to alleviate the visual degradation problem. To address this issue, we present QuantWM, a training-free and strictly causal 2-bit KV cache quantization framework. QuantWM introduces two complementary techniques to mitigate the attention shifts. Firstly, quantization-sensitivity-aware clustering (QSAC) jointly considers historical Query sensitivity and residual ranges to select INT2-friendly Key centroids, which reduces quantization errors in channels that are more critical to attention. In addition, principal-subspace attention compensation (PSAC) restores the remaining Key errors along the dominant Query subspace using low-rank projections, which provides a direct and efficient correction to stabilize attention logits. Extensive experiments on Causal-Forcing, LingBot-World-v2, HY-World 1.5, Matrix-Game-2 and Longcat-Video demonstrate that QuantWM significantly improves visual quality and temporal consistency, while outperforming existing methods across image and video quality metrics with up to 6.20x KV cache memory compression and limited additional overhead.