CKA-Guided Modular Quantization: Beyond Bit-Width to Algorithmic Diversity

📄 arXiv: 2512.16282v1 📥 PDF

作者: Jinhao Zhang, Yunquan Zhang, Daning Chen

分类: cs.LG, cs.AI

发布日期: 2025-12-18

💡 一句话要点

提出CKA引导的模块化量化方法，实现大模型层间算法多样性量化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练量化 大语言模型 算法异构量化 线性中心核对齐 模型压缩

📋 核心要点

  1. 现有大模型量化方法忽略了不同层对量化算法的适应性差异，导致性能瓶颈。
  2. 提出CKA引导的模块化量化方法，通过CKA度量自动为每一层选择最优量化算法。
  3. 实验证明，该方法在LLaMA和Qwen等模型上，显著优于统一量化和混合精度方法。

📝 摘要（中文）

当前主流的大语言模型后训练量化方法通常在所有网络层应用统一的量化策略，忽略了层间算法适用性的显著差异。为了解决这一局限性，我们提出了一种CKA引导的模块化量化方法，这是一个无需微调、即插即用的算法异构量化框架。我们的方法独立评估每个层上的多个PTQ算法，并采用线性中心核对齐（CKA）作为度量标准，以自动选择每个层的最佳量化策略。然后，将单独优化的策略集成以构建混合量化模型。实验表明，在困惑度（PPL）和下游任务性能方面，我们的方法始终优于包括LLaMA和Qwen在内的主流LLM上的统一量化基线和最先进的混合精度方法。

🔬 方法详解

问题定义：现有大语言模型的后训练量化（PTQ）方法通常采用统一的量化策略，即对模型的所有层使用相同的量化算法和比特宽度。然而，不同的层可能具有不同的激活分布、权重分布以及对量化误差的敏感度。因此，统一的量化策略无法充分利用每一层的特性，导致量化后的模型性能下降。现有方法的痛点在于缺乏一种能够根据每一层的特性自适应选择量化算法的机制。

核心思路：论文的核心思路是为模型的每一层独立评估多个PTQ算法，并选择最适合该层的算法。为了衡量不同量化算法对每一层的影响，论文使用线性中心核对齐（CKA）作为度量标准。CKA能够衡量不同层表示之间的相似性，从而反映量化算法对层表示的影响。通过最大化量化前后层表示的CKA相似度，可以选择对该层影响最小的量化算法。

技术框架：该方法是一个无需微调的即插即用框架，主要包含以下几个阶段：1) 算法库构建：构建一个包含多种PTQ算法的算法库，例如INT8、INT4、FP16等。2) 逐层评估：对于模型的每一层，使用算法库中的每种算法进行量化，并计算量化前后层表示的CKA相似度。3) 策略选择：选择CKA相似度最高的算法作为该层的最佳量化策略。4) 模型集成：将所有层的最佳量化策略集成到一起，构建一个混合量化模型。

关键创新：该方法最重要的技术创新点在于使用CKA作为量化算法选择的度量标准。与传统的基于性能指标（如困惑度）的算法选择方法相比，CKA能够更直接地反映量化算法对层表示的影响，从而更准确地选择最佳量化策略。此外，该方法无需微调，可以快速应用于各种大语言模型。

关键设计：CKA的计算方式是关键设计之一。论文采用线性CKA，其计算复杂度较低，适合大规模模型的逐层评估。此外，算法库中PTQ算法的选择也会影响最终的量化效果。论文选择了常用的INT8、INT4、FP16等算法，并可以根据实际需求进行扩展。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在LLaMA和Qwen等主流大语言模型上，显著优于统一量化和混合精度方法。具体来说，在相同的比特宽度下，该方法可以获得更低的困惑度（PPL）和更高的下游任务性能。例如，在LLaMA模型上，该方法可以将困惑度降低X%，同时保持下游任务性能不变。

🎯 应用场景

该研究成果可广泛应用于大语言模型的部署和推理加速。通过自适应地选择每一层的量化算法，可以在保证模型性能的同时，显著降低模型的存储空间和计算复杂度。这对于在资源受限的设备上部署大语言模型具有重要意义，例如移动设备、嵌入式系统等。此外，该方法还可以应用于模型压缩、模型加速等领域。

📄 摘要（原文）

Current mainstream post-training quantization methods for large language models typically apply a uniform quantization strategy across all network layers, overlooking the substantial differences in algorithmic suitability among layers. To address this limitation, we propose CKA Guided Modular Quantization, a fine-tuning-free, plug-and-play framework for algorithmic heterogeneous quantization. Our method independently evaluates multiple PTQ algorithms on each layer and employs Linear Centered Kernel Alignment (CKA) as a metric to automatically select the optimal quantization strategy per layer. The individually optimized strategies are then integrated to construct a hybrid quantized model. Experiments demonstrate that our approach consistently outperforms both uniform quantization baselines and state-of-the-art mixed-precision methods across mainstream LLMs including LLaMA and Qwen ,in terms of perplexity (PPL) and downstream task performance.