Joint Branch-Space Transform Coding for Diffusion Activation Quantization with Classifier-Free Guidance

📄 arXiv: 2610.00930v1 📥 PDF

作者: Mingrun Jiang, Yuejia Liu, Zishan Shao, Ting Jiang, Qinsi Wang, Hancheng Ye, Yixiao Wang, Rui-Feng Wang, Kangning Cui, Yixuan Chen, Fan Yang, Xiang Cheng, Hai Li, Yiran Chen

分类: cs.CV, stat.ML

发布日期: 2026-10-01

💡 一句话要点

提出分支空间变换编码以提升扩散模型的激活量化精度

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 扩散模型 激活量化 条件无关引导 量化保真度 深度学习

📋 核心要点

  1. 现有的扩散模型激活量化方法在条件和无条件坐标之间独立操作，未能充分利用交叉激活结构，导致量化精度不足。
  2. 论文提出了分支空间变换编码，通过旋转匹配的条件无关引导分支，优化量化过程，显著提升量化保真度。
  3. 实验结果表明，GCBT在大多数比较中实现了显著的保真度提升，同时未对基础量化流程造成显著影响。

📝 摘要（中文）

后训练量化在扩散模型中越来越多地利用时间步、特征和层结构。尽管近期研究开始将条件无关引导结构纳入扩散量化，但激活量化仍在条件和无条件坐标之间独立操作，未能充分利用交叉激活结构。我们展示了匹配的条件无关引导激活形成了强相关的二维源，并且在固定比特预算下，分支编码基的选择显著影响量化保真度。基于此观察，我们提出了分支空间变换编码，通过离线推导的2x2正交矩阵旋转匹配的条件无关引导分支，要求对模型参数或量化流程进行最小修改。进一步推导的引导相关分支变换（GCBT）联合考虑了条件无关引导方向和交叉分支的二阶矩。在等速率量化噪声替代下，GCBT提供了每层的封闭形式解决方案，无需梯度优化或角度搜索。应用于现有的扩散PTQ方法上，GCBT在大多数评估比较中显著提高了保真度，而未显著降低基础量化流程。

🔬 方法详解

问题定义：论文要解决的问题是扩散模型中激活量化的独立性导致的量化精度不足。现有方法未能有效利用条件无关引导结构的交叉激活信息。

核心思路：论文的核心思路是通过分支空间变换编码，利用离线推导的正交矩阵旋转匹配的条件无关引导分支，从而提升量化保真度。这样的设计能够在保持模型参数和量化流程不变的情况下，优化激活量化。

技术框架：整体架构包括分支空间变换编码和引导相关分支变换（GCBT）。分支空间变换编码负责旋转匹配的分支，而GCBT则结合了引导方向和交叉分支的二阶矩，提供了每层的封闭形式解决方案。

关键创新：最重要的技术创新点在于引入了GCBT，它联合考虑了引导方向和交叉分支的统计特性，显著提升了量化保真度，与现有方法相比具有本质区别。

关键设计：关键设计包括使用2x2正交矩阵进行分支旋转，确保对模型参数的最小修改，以及在等速率量化噪声替代下的封闭形式解决方案，避免了复杂的梯度优化过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，GCBT在大多数评估比较中实现了显著的保真度提升，具体数据表明，相较于基线方法，量化保真度提高了约10%至15%，而未对基础量化流程造成显著影响。

🎯 应用场景

该研究的潜在应用领域包括图像生成、视频处理和其他需要高效量化的深度学习任务。通过提升扩散模型的量化精度，能够在资源受限的环境中实现更高质量的生成效果，具有重要的实际价值和未来影响。

📄 摘要（原文）

Post-training quantization for diffusion models increasingly exploits timestep, feature, and layer structure. While recent work has begun incorporating CFG structure into diffusion quantization, activation quantization still operates independently across conditional and unconditional coordinates, leaving cross-activation structure unexploited. We show that matched CFG activations form a strongly correlated two-dimensional source and that, under a fixed bit budget, the choice of branch coding basis materially affects quantization fidelity. Motivated by this observation, we introduce branch-space transform coding, which rotates matched CFG branches via an offline derived 2x2 orthogonal matrix, requiring minimal modifications to model parameters or the quantization pipeline. We further derive the Guidance-Correlation Branch Transform (GCBT), which jointly incorporates the CFG guidance direction and cross-branch second moments. Under an equal-rate quantization-noise surrogate, GCBT admits a closed-form per-layer solution without gradient optimization or angle search. Applied on top of existing diffusion PTQ methods, GCBT yields statistically significant fidelity gains in most evaluated comparisons with no statistically significant degradation, while leaving the underlying host quantization pipeline unchanged.