Deflating the Hessian: Rank-4 W4A4 Quantization for Multimodal Diffusion Transformers

📄 arXiv: 2610.11315v1 📥 PDF

作者: Shiwen Wang, Pengxiang Zhao, Xiaoming Yuan

分类: cs.LG, cs.CV, math.OC

发布日期: 2026-10-08

💡 一句话要点

提出统一框架以解决多模态扩散变换器的量化损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化技术 低秩补偿 扩散变换器 后训练量化 激活量化误差 深度学习优化 模型压缩

📋 核心要点

  1. 现有低秩PTQ方法在优化低秩补偿和残差量化时存在分离优化的问题，导致需要更高的秩。
  2. 本文提出的统一框架将低秩辅助的W4A4 PTQ视为耦合校准问题，优化过程更为高效。
  3. 实验结果显示，该方法在PSNR和LPIPS指标上超越了现有的SVDQuant方法，且量化速度提高了6.25倍。

📝 摘要（中文）

在扩散变换器中，低秩分支通过将每个权重分解为低位残差和高精度低秩组件，能够减轻4位权重-激活（W4A4）后训练量化（PTQ）损失。然而，现有的低秩PTQ方法要么分别优化低秩补偿和残差量化，通常需要更高的秩，要么依赖二阶权重更新而未明确建模激活量化误差。为了解决这些局限性，本文提出了一种统一框架，将低秩辅助的W4A4 PTQ建模为耦合校准问题，并从联合目标推导优化求解器。通过消除输出侧的低秩因子，得到的“膨胀海森矩阵”能够减轻已被低秩组件捕获的残差误差，同时引入激活噪声替代物以抑制激活量化误差。实验表明，该方法在多个扩散骨干网络上表现优异。

🔬 方法详解

问题定义：本文旨在解决现有低秩PTQ方法在4位量化下的性能损失，尤其是激活量化误差未被有效建模的问题。

核心思路：提出一种统一框架，将低秩辅助的W4A4 PTQ视为耦合校准问题，通过联合优化来提高量化精度和效率。

技术框架：整体架构包括低秩补偿模块和激活噪声替代物模块，前者用于捕获权重的低秩特性，后者用于抑制激活量化误差。

关键创新：最重要的创新在于引入“膨胀海森矩阵”，有效减轻了残差误差，同时通过耦合校准提高了量化性能。

关键设计：在参数设置上，采用了低秩分解技术，并设计了特定的损失函数以平衡低秩补偿和激活噪声的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，本文提出的rank-4方法在PSNR和LPIPS指标上均优于rank-4 SVDQuant，且在SANA-1.6B、FLUX.1-schnell和FLUX.1-dev数据集上超越rank-32 SVDQuant，量化速度提升达6.25倍。此外，在Qwen3-8B LLM上，MMLU准确率从61.50%提升至68.17%。

🎯 应用场景

该研究的潜在应用领域包括深度学习模型的量化和优化，尤其是在资源受限的设备上运行多模态扩散变换器时。通过降低量化成本和提升性能，能够在实际应用中实现更高效的模型部署，推动智能设备的普及与应用。

📄 摘要（原文）

In diffusion transformers, low-rank branches can mitigate 4-bit weight--activation (W4A4) post-training quantization (PTQ) loss by decomposing each weight into a low-bit residual and a high-precision low-rank component. Existing low-rank PTQ approaches, however, either optimize low-rank compensation and residual quantization separately, often requiring higher ranks, or rely on second-order weight updates without explicitly modeling activation quantization error, which becomes particularly pronounced under 4-bit quantization. To address these limitations, we present \method{}, a unified framework modeling low-rank-assisted W4A4 PTQ as a coupled calibration problem and deriving optimization-based solvers from the joint objective. Eliminating the output-side low-rank factor yields a \emph{deflated Hessian} that discounts residual errors already captured by the low-rank component, while an activation-noise surrogate is incorporated to suppress activation quantization error. Across five diffusion backbones, rank-4 \method{} consistently outperforms rank-4 SVDQuant in PSNR and LPIPS. It further surpasses rank-32 SVDQuant on SANA-1.6B, FLUX.1-schnell, and FLUX.1-dev with an $8\times$ smaller rank and up to $6.25\times$ faster quantization. Furthermore, on the Qwen3-8B LLM, rank-4 \method{} improves MMLU accuracy from 61.50\% to 68.17\% over rank-32 SVDQuant. Overall, \method{} achieves better W4A4 performance with substantially lower rank and quantization cost.