SpectrumQuant: Spectrum Alignment for LLM Quantization

📄 arXiv: 2610.20303v1 📥 PDF

作者: Dwaipayan Haldar, Indranil Patra, Azhar Yousuf, Chandra Sekhar Seelamantula

分类: cs.LG, stat.ML

发布日期: 2026-10-14

💡 一句话要点

提出SpectrumQuant以解决大语言模型量化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 量化 正交变换 协方差 谱对齐 后训练量化 高效推理

📋 核心要点

  1. 现有方法在大语言模型的量化过程中，往往依赖于固定的无关数据变换或学习的旋转，导致效率低下。
  2. 论文提出SpectrumQuant，通过最大化激活协方差实现谱对齐，构建量化友好的正交变换，提供了一种数据感知的替代方案。
  3. 实验结果显示，SpectrumQuant在性能上与最先进的旋转策略相当，同时显著降低了GPU内存和计算时间。

📝 摘要（中文）

正交变换已成为低比特量化大语言模型（LLMs）的有效工具，因为它们在不改变基础模型功能的情况下重塑激活分布。现有方法通常依赖于固定的数据无关变换或在校准时优化学习的旋转。本文从第一性原理研究旋转选择，表明最大化协方差可以实现谱对齐，并为构建量化友好的正交变换提供了原则性标准。基于此，我们提出了SpectrumQuant，一种闭式旋转方法，通过校准数据估计激活协方差，并利用其构建协方差感知的正交变换。实验表明，SpectrumQuant在Llama和Mistral模型上表现出色，所需GPU内存不足三分之一，且显著减少了时间开销。

🔬 方法详解

问题定义：本文解决的是大语言模型量化中的旋转选择问题，现有方法在效率和灵活性上存在不足，无法充分利用数据特征。

核心思路：论文的核心思路是通过最大化激活的协方差来实现谱对齐，从而构建量化友好的正交变换。这种设计能够更好地适应数据特性，提高量化效果。

技术框架：SpectrumQuant的整体架构包括数据校准阶段、协方差估计模块和正交变换构建模块。首先通过校准数据估计激活的协方差，然后基于该协方差构建正交变换。

关键创新：最重要的技术创新在于提出了一种闭式旋转方法，能够有效地将数据感知的旋转与传统的无关数据旋转相结合，克服了现有方法的局限性。

关键设计：在参数设置上，SpectrumQuant通过校准数据的协方差来指导旋转的选择，采用了特定的损失函数以优化量化效果，同时能够恢复Hadamard矩阵作为特例。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SpectrumQuant在Llama和Mistral模型上的表现与最先进的旋转策略相当，同时所需的GPU内存不足三分之一，计算时间显著减少，展示了其在后训练量化中的有效性和高效性。

🎯 应用场景

SpectrumQuant的研究成果在大语言模型的量化过程中具有广泛的应用潜力，能够有效降低模型的存储和计算成本，适用于各种需要高效推理的场景，如自然语言处理、机器翻译和对话系统等。未来，该方法可能推动更多轻量级模型的开发与应用。

📄 摘要（原文）

Orthogonal transforms have emerged as an effective tool for low-bit quantization of large language models (LLMs), as they reshape activation distributions without changing the underlying model function. Existing approaches typically rely either on fixed data-agnostic transforms, such as Hadamard rotations, or on calibration-time optimization of learned rotations. We study rotation selection from first principles and show that maximizing covariance leads to spectral alignment and provides a principled criterion for constructing quantization-friendly orthogonal transforms. Based on this insight, we propose SpectrumQuant, a closed-form rotation method that estimates activation covariance from calibration data and uses it to construct a covariance-aware orthogonal transform for post-training quantization. Our formulation characterizes quantization-friendly rotations as compositions of alignment and mixing components, while recovering Hadamard matrices as a special case. Interestingly, a class of butterfly matrices belongs to this category. In the realm of LLM quantization, SpectrumQuant bridges the gap between data-agnostic structured rotations and learned rotations, providing an effective and efficient data-aware alternative for post-training quantization. Experiments on Llama and Mistral models show that SpectrumQuant is competitive with state-of-the-art rotation strategies while requiring less than one-third of the GPU memory and significantly less time than learned rotations approaches like SpinQuant and DartQuant.