Deflating the Hessian: Rank-4 W4A4 Quantization for Multimodal Diffusion Transformers

📄 arXiv: 2610.11315v2 📥 PDF

作者: Shiwen Wang, Pengxiang Zhao, Xiaoming Yuan

分类: cs.LG, cs.CV, math.OC

发布日期: 2026-10-08 (更新: 2026-10-09)

💡 一句话要点

提出HSVDQuant以解决4位量化损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化优化 低秩分解 扩散变换器 后训练量化 激活量化误差 联合优化 深度学习

📋 核心要点

  1. 现有低秩PTQ方法在优化低秩补偿和残差量化时存在分离优化的问题，导致需要更高的秩。
  2. 本文提出HSVDQuant，将低秩辅助W4A4 PTQ建模为耦合校准问题，采用联合优化策略。
  3. 实验结果显示，HSVDQuant在多个扩散骨干网络上表现优异，尤其在PSNR和LPIPS指标上显著提升。

📝 摘要（中文）

在扩散变换器中，低秩分支通过将每个权重分解为低位残差和高精度低秩组件来缓解4位权重-激活（W4A4）后训练量化（PTQ）损失。然而，现有的低秩PTQ方法要么分别优化低秩补偿和残差量化，通常需要更高的秩，要么依赖于二阶权重更新而未明确建模激活量化误差。为了解决这些局限性，本文提出了HSVDQuant，一个将低秩辅助W4A4 PTQ建模为耦合校准问题的统一框架，并从联合目标推导出基于优化的求解器。通过消除输出侧的低秩因子，得到了一个折叠的Hessian，减少了低秩组件已捕获的残差误差，同时引入了激活噪声替代物以抑制激活量化误差。在五个扩散骨干网络上，秩为4的HSVDQuant在PSNR和LPIPS上始终优于秩为4的SVDQuant，并在SANA-1.6B、FLUX.1-schnell和FLUX.1-dev上超越秩为32的SVDQuant，具有8倍更小的秩和高达6.25倍更快的量化速度。此外，在Qwen3-8B LLM上，秩为4的HSVDQuant将MMLU准确率从61.50%提高到68.17%。总体而言，HSVDQuant以显著更低的秩和量化成本实现了更好的W4A4性能。

🔬 方法详解

问题定义：本文旨在解决现有低秩PTQ方法在4位量化下的性能损失问题，现有方法往往需要更高的秩或未能有效建模激活量化误差。

核心思路：HSVDQuant通过将低秩辅助W4A4 PTQ视为耦合校准问题，提出了一种统一的优化框架，旨在同时优化低秩补偿和残差量化。

技术框架：该方法的整体架构包括低秩分解、激活噪声建模和联合优化三个主要模块，通过消除输出侧的低秩因子来减少残差误差。

关键创新：HSVDQuant的核心创新在于将低秩补偿与激活量化误差的建模结合起来，形成了一个新的优化框架，与传统方法相比，能够在更低的秩下实现更好的性能。

关键设计：在设计中，采用了折叠的Hessian来处理残差误差，并引入激活噪声替代物以抑制量化误差，确保了优化过程的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HSVDQuant在多个基准测试中表现优异，尤其是在PSNR和LPIPS指标上，秩为4的HSVDQuant在SANA-1.6B、FLUX.1-schnell和FLUX.1-dev上超越了秩为32的SVDQuant，且量化速度提升高达6.25倍。此外，在Qwen3-8B LLM上，MMLU准确率从61.50%提升至68.17%。

🎯 应用场景

该研究的潜在应用领域包括深度学习模型的量化优化，尤其是在资源受限的设备上运行的多模态扩散变换器。通过降低量化成本和提高性能，HSVDQuant可为实际应用提供更高效的解决方案，推动智能设备的普及与发展。

📄 摘要（原文）

In diffusion transformers, low-rank branches can mitigate 4-bit weight--activation (W4A4) post-training quantization (PTQ) loss by decomposing each weight into a low-bit residual and a high-precision low-rank component. Existing low-rank PTQ approaches, however, either optimize low-rank compensation and residual quantization separately, often requiring higher ranks, or rely on second-order weight updates without explicitly modeling activation quantization error, which becomes particularly pronounced under 4-bit quantization. To address these limitations, we present HSVDQuant, a unified framework modeling low-rank-assisted W4A4 PTQ as a coupled calibration problem and deriving optimization-based solvers from the joint objective. Eliminating the output-side low-rank factor yields a deflated Hessian that discounts residual errors already captured by the low-rank component, while an activation-noise surrogate is incorporated to suppress activation quantization error. Across five diffusion backbones, rank-4 HSVDQuant consistently outperforms rank-4 SVDQuant in PSNR and LPIPS. It further surpasses rank-32 SVDQuant on SANA-1.6B, FLUX.1-schnell, and FLUX.1-dev with an $8\times$ smaller rank and up to $6.25\times$ faster quantization. Furthermore, on the Qwen3-8B LLM, rank-4 HSVDQuant improves MMLU accuracy from 61.50% to 68.17% over rank-32 SVDQuant. Overall, HSVDQuant achieves better W4A4 performance with substantially lower rank and quantization cost.