VC-Attention: Value Smoothing and Softmax Casting for Low-bit Attention
作者: Xingyang Li, Dongyun Zou, Shining Zhang, Jiacheng Chen, Haocheng Xi, Lvmin Zhang, Jun-Yan Zhu, Song Han, Zhekai Zhang, Yujun Lin, Muyang Li
分类: cs.CV
发布日期: 2026-09-14
💡 一句话要点
提出VC-Attention以解决低比特注意力的准确性与速度问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 低比特注意力 视频生成 扩散变换器 值平滑 融合概率映射 计算效率 异常值处理 深度学习
📋 核心要点
- 现有低比特注意力机制的准确性受到异常值的影响，导致输出误差增大，且计算速度受限于softmax过程。
- VC-Attention通过值平滑和融合概率映射的方式，提出了一种无训练的低比特注意力框架，有效解决了准确性和速度问题。
- 在多个数据集上，VC-Attention相较于低比特基线提升了保真度，并在数据中心和工作站上显著加速了注意力内核的计算速度。
📝 摘要（中文）
扩散变换器在视频生成中表现出色，但其长时空序列使得注意力机制成为主要的部署成本。现有低比特内核的准确性受到异常值的限制，且速度受限于softmax计算。本文提出VC-Attention，一个无训练的低比特注意力框架，通过值平滑和融合概率映射来解决这两个问题。V-Smooth通过轻量级在线聚类重新排序值令牌，使其在硬件块中更好地量化。ExpCast-FP8则将对数域分数直接映射到概率代码，消除了高精度指数计算。实验表明，VC-Attention在多个数据集上提升了保真度，并在数据中心和工作站卡上显著加速了注意力内核。
🔬 方法详解
问题定义：本文旨在解决低比特注意力机制中由于异常值导致的准确性问题，以及softmax计算带来的速度瓶颈。现有方法在处理长时空序列时，无法有效应对这些挑战。
核心思路：VC-Attention的核心思路是结合值平滑与融合概率映射，旨在提高低比特注意力的准确性和计算效率。通过对值令牌进行重排序和量化，减少异常值的影响，同时优化softmax计算过程。
技术框架：VC-Attention框架主要包括两个模块：V-Smooth和ExpCast-FP8。V-Smooth通过在线聚类对值令牌进行重排序，确保在硬件块中更好地量化；ExpCast-FP8则直接将对数域分数映射到概率代码，简化计算流程。
关键创新：最重要的技术创新在于V-Smooth和ExpCast-FP8的结合，前者通过聚类优化值的量化，后者消除了高精度指数计算，显著提升了计算速度和准确性。
关键设计：在V-Smooth中，采用轻量级在线聚类算法对值令牌进行重排序，并量化残差；ExpCast-FP8则通过融合乘加操作直接映射概率代码，避免了FP32指数和格式转换的开销。整体设计确保了高效的计算和准确的输出。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VC-Attention在多个数据集上相较于低比特基线显著提升了保真度，且在数据中心的Blackwell和Hopper上，注意力内核速度提升了1.46-1.59倍，而在工作站卡上提升了2.3-3.6倍。此外，整体生成速度提升了1.13-1.19倍和1.36-1.70倍，显示出其优越的性能。
🎯 应用场景
VC-Attention的研究成果在视频生成、计算机视觉和深度学习等领域具有广泛的应用潜力。其高效的低比特注意力机制可用于实时视频处理、增强现实和虚拟现实等场景，提升系统的响应速度和处理能力。未来，该技术可能推动更多高效模型的开发，促进AI在各类应用中的普及。
📄 摘要（原文）
Diffusion Transformers deliver state-of-the-art video generation, but their long spatiotemporal sequences make attention the dominant deployment cost, and a deployable low-bit kernel must be accurate and fast. Accuracy is limited by outliers: a block's quantization scale is set by its largest entries, leaving typical entries confined to a narrow range of representable values. Prior work smooths queries and keys, but value outliers follow no fixed channel or spatiotemporal structure and remain the dominant source of output error. Speed is limited by softmax: low-bit Tensor Cores accelerate only the two matrix multiplications, so the high-precision exponential between them becomes the longest pipeline stage on datacenter GPUs. We propose VC-Attention, a training-free low-bit attention framework that addresses both by pairing Value smoothing with a fused probability Cast. V-Smooth reorders value tokens by lightweight online clustering, so the tokens in a hardware block quantize well together. It quantizes only the residual after subtracting the block mean, and restores that mean from the row sum the online softmax already maintains. ExpCast-FP8 maps log-domain scores directly to E4M3 probability codes with one fused multiply-add, eliminating the FP32 exponential and the format conversion. We implement VC-Attention for B200, B300, H200, RTX PRO 6000, and RTX 5090. Across Wan2.2, LongCat-Video, HunyuanVideo-1.5, and MiniMax-H3, VC-Attention improves fidelity over low-bit baselines, speeds up the attention kernel over BF16 FlashAttention-4 by 1.46-1.59x on datacenter Blackwell and Hopper and by 2.3-3.6x on workstation cards, and generates a clip 1.13-1.19x and 1.36-1.70x faster end to end.