Pioneering 4-Bit FP Quantization for Diffusion Models: Mixup-Sign Quantization and Timestep-Aware Fine-Tuning

📄 arXiv: 2505.21591v1 📥 PDF

作者: Maosen Zhao, Pengtao Chen, Chong Yu, Yan Wen, Xudong Tan, Tao Chen

分类: cs.LG, cs.AI

发布日期: 2025-05-27

💡 一句话要点

提出4位浮点量化框架以解决扩散模型的量化挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型量化 扩散模型 浮点量化 深度学习 时间步感知 去噪技术 微调方法

📋 核心要点

  1. 现有的量化方法在实现4位量化时表现不一致，尤其在处理非对称激活分布和时间复杂度方面存在不足。
  2. 本文提出mixup-sign浮点量化框架，结合无符号浮点量化和时间步感知微调，解决了量化过程中的关键挑战。
  3. 实验结果显示，所提方法在4位浮点量化上优于现有的后训练量化微调方法，提升了模型的性能和稳定性。

📝 摘要（中文）

模型量化通过降低权重和激活的位宽，提高扩散模型的内存效率和推理速度。然而，实现4位量化仍然面临挑战。现有方法主要基于整数量化和后训练量化微调，表现不一致。本文借鉴浮点量化在大型语言模型中的成功，探索低位浮点量化，并提出了mixup-sign浮点量化框架，首次引入无符号浮点量化，结合时间步感知LoRA和去噪因子损失对齐，确保精确稳定的微调。实验表明，我们首次在扩散模型中实现了优越的4位浮点量化性能，超越了现有的4位整数量化微调方法。

🔬 方法详解

问题定义：本文旨在解决扩散模型中4位浮点量化的挑战，现有方法在处理非对称激活分布和微调过程中未能充分考虑时间复杂度，导致性能不稳定。

核心思路：提出mixup-sign浮点量化框架，首次引入无符号浮点量化，结合时间步感知LoRA和去噪因子损失对齐，以确保微调过程的精确性和稳定性。

技术框架：整体架构包括三个主要模块：无符号浮点量化模块、时间步感知微调模块和损失对齐模块，确保在量化过程中有效处理激活分布和时间复杂度。

关键创新：最重要的创新在于引入无符号浮点量化和时间步感知微调，这与传统的整数量化和后训练微调方法有本质区别，能够更好地适应扩散模型的需求。

关键设计：在参数设置上，采用了特定的损失函数以对齐去噪因子，并设计了适应性网络结构，以提高模型在量化后的性能和稳定性。

📊 实验亮点

实验结果表明，所提方法在4位浮点量化上实现了显著的性能提升，相较于现有的4位整数量化微调方法，性能提升幅度达到XX%（具体数据待补充），展示了其在扩散模型中的有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括图像生成、视频处理和自然语言处理等需要高效推理的扩散模型。通过提高量化效率，能够在资源受限的环境中实现更快速的模型推理，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Model quantization reduces the bit-width of weights and activations, improving memory efficiency and inference speed in diffusion models. However, achieving 4-bit quantization remains challenging. Existing methods, primarily based on integer quantization and post-training quantization fine-tuning, struggle with inconsistent performance. Inspired by the success of floating-point (FP) quantization in large language models, we explore low-bit FP quantization for diffusion models and identify key challenges: the failure of signed FP quantization to handle asymmetric activation distributions, the insufficient consideration of temporal complexity in the denoising process during fine-tuning, and the misalignment between fine-tuning loss and quantization error. To address these challenges, we propose the mixup-sign floating-point quantization (MSFP) framework, first introducing unsigned FP quantization in model quantization, along with timestep-aware LoRA (TALoRA) and denoising-factor loss alignment (DFA), which ensure precise and stable fine-tuning. Extensive experiments show that we are the first to achieve superior performance in 4-bit FP quantization for diffusion models, outperforming existing PTQ fine-tuning methods in 4-bit INT quantization.