Structured Transforms for Low-Overhead Quantization of Language Models
作者: Daria Cherniuk, Alexander Rudikov, Boris Kashin, Ivan Oseledets
分类: cs.CL
发布日期: 2026-09-10
💡 一句话要点
提出改进的Kashin分解算法以优化语言模型的量化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 权重量化 Kashin分解 离散余弦变换 计算效率 数值稳定性 机器学习
📋 核心要点
- 现有的Kashin分解方法在权重量化时计算复杂度较高，导致效率低下。
- 本文提出了一种改进的算法，通过使用符号随机化的DCT来降低计算复杂度，同时保持权重分解的有效性。
- 实验结果表明，所提方法在多个基准模型上表现优异，尤其在数值稳定性和计算效率方面显著提升。
📝 摘要（中文）
本文重新审视基于Kashin分解的大型语言模型权重量化，提出了一种改进算法，具有更强的收敛性和高效的结构化正交变换。该方法保留了权重的核心分解，将其分为两个组件，并用符号随机化的离散余弦变换（DCT）替代了密集的随机正交矩阵，从而将每次迭代的计算复杂度从$ ext{O}(N^2)$降低到$ ext{O}(N ext{log} N)$。提出的贪婪算法通过交替更新保证了稳定的2位聚类所需的四峰分布，并允许闭式初始化聚类中心，消除了先前工作中的多重重启k均值瓶颈。与OPTQ风格的顺序误差补偿和QuIP风格的非一致性预处理相结合，所提出的JAX管道在4位每通道的情况下与OPTQ、QuIP、QuIP-RG及无微调和向量量化的QuIP#变体在OPT、Llama-2和Pythia上具有竞争力，并且在时间效率上表现良好。
🔬 方法详解
问题定义：本文旨在解决大型语言模型权重量化中的计算复杂度问题，现有Kashin分解方法在处理大规模模型时效率较低，且在某些配置下可能导致数值不稳定。
核心思路：提出的改进算法通过引入符号随机化的离散余弦变换（DCT），替换传统的密集随机正交矩阵，从而降低每次迭代的计算复杂度，同时保持权重的有效分解。
技术框架：该方法包括权重的Kashin分解、符号随机化的DCT变换、贪婪算法的交替更新以及闭式初始化聚类中心的步骤，形成一个高效的JAX管道。
关键创新：最重要的创新在于使用DCT替代随机正交矩阵，显著降低了计算复杂度，并且通过贪婪算法确保了聚类的稳定性，解决了之前方法中的多重重启问题。
关键设计：在参数设置上，采用了适当的聚类中心初始化方法，并设计了适合2位因子编码的结构，以便于在原生2位硬件上进行高效推理。实验中还结合了顺序误差补偿和非一致性预处理，以进一步提升性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，所提出的方法在4位每通道的量化下，与OPTQ、QuIP及其变体相比，表现出更好的数值稳定性和计算效率。在Pythia-6.9B等压力配置下，Kashin-DCT方法保持了接近FP16基线的性能，且在时间效率上具有明显优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的大型语言模型优化，尤其是在资源受限的环境中进行高效推理。通过降低量化过程中的计算复杂度，该方法能够使得更多的应用场景能够利用大型语言模型，提升其实际价值和可用性。
📄 摘要（原文）
We revisit Kashin-decomposition-based weight quantization for large language models and propose an improved algorithm with stronger convergence properties and structured, efficient orthogonal transforms. The method retains the core factorization of each weight into two components -- one with bounded infinity norm and the other with bounded infinity norm after an orthogonal transformation -- but replaces the dense random orthogonal matrix with a sign-randomized Discrete Cosine Transform (DCT), reducing the per-iteration cost from $\mathcal{O}(N^2)$ to $\mathcal{O}(N \log N)$. The proposed greedy algorithm with alternating updates guarantees the four-peak distribution required for stable 2-bit clustering of each factor and admits closed-form initialization of cluster centers, removing the multi-restart k-means bottleneck of prior work. Composed with OPTQ-style sequential error compensation and QuIP-style incoherence preprocessing, the resulting JAX pipeline is competitive with OPTQ, QuIP, QuIP-RG and a fine-tuning- and vector-quantization-free variant of QuIP# at 4-bit per channel on OPT, Llama-2 and Pythia, with favorable wall-clock scaling. The bounded-$\ell_\infty$ factorization is also notably robust: on stress configurations where QuIP variants diverge to four-digit perplexity (Pythia-6.9B) or abort with NaNs in LDL back-substitution (Mistral-7B), Kashin-DCT remains numerically stable and stays close to FP16 baseline. At inference time, each weight decomposes into two 2-bit factor codes per channel that are structurally suited to native-2-bit hardware.