LIRQuant: An Efficient Locally Isolated Rotation Quantization Method for Large Language Models

📄 arXiv: 2610.25675v1 📥 PDF

作者: Desheng Xu, Hanglin Li, Tianchen Song, Zhiyong Zhao, Kun Zhan

分类: cs.AI

发布日期: 2026-10-19

备注: Accepted to EMNLP 2026

💡 一句话要点

提出LIRQuant以解决大语言模型低位量化中的激活异常问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化方法 大语言模型 后训练量化 敏感性分析 旋转量化 模型优化 高效部署

📋 核心要点

  1. 现有的全局变换方法未能充分考虑通道对量化噪声的敏感性，导致低位量化的准确性和效率不理想。
  2. 提出的LIRQuant方法通过噪声加权敏感性指标识别敏感通道，针对性地应用可学习旋转，优化了量化过程。
  3. 实验结果显示，LIRQuant在多个大语言模型上实现了最先进的准确性，并显著提高了校准速度和内存效率。

📝 摘要（中文）

后训练量化（PTQ）使得大语言模型（LLMs）的高效部署成为可能，但激活异常仍然是低位量化的关键挑战。现有的全局变换方法忽视了通道对量化噪声的异质敏感性，导致准确性与效率的权衡不理想。为此，本文提出了局部隔离旋转量化（LIRQuant），这是一个敏感性感知框架，选择性地应用变换。LIRQuant通过噪声加权敏感性指标识别敏感通道，仅对这些通道应用可学习的旋转，而对其余通道应用轻量级的固定旋转。这种解耦设计在不牺牲异常平滑能力的情况下降低了优化复杂性。大量实验表明，LIRQuant在W4A4KV4设置下实现了最先进的准确性，同时在仅需25分钟和20.3 GB峰值GPU内存的情况下校准LLaMA-3-8B，成为近期可学习旋转方法中校准速度最快、内存占用最低的方案，其融合推理内核在预填充速度上提升了2.3倍，内存节省达3.5倍。

🔬 方法详解

问题定义：本文旨在解决大语言模型低位量化中的激活异常问题，现有方法未能有效处理通道对量化噪声的异质敏感性，导致准确性与效率的权衡不佳。

核心思路：LIRQuant通过噪声加权敏感性指标识别敏感通道，仅对这些通道应用可学习的旋转，而对其他通道使用轻量级固定旋转，从而优化量化过程。

技术框架：LIRQuant的整体架构包括敏感性评估模块、通道选择模块和旋转应用模块。首先评估每个通道的敏感性，然后根据评估结果选择适当的旋转策略。

关键创新：LIRQuant的主要创新在于其敏感性感知的设计，能够根据通道的不同敏感性灵活调整量化策略，与传统的全局变换方法形成鲜明对比。

关键设计：在参数设置上，LIRQuant采用了噪声加权敏感性指标作为通道选择的依据，损失函数设计上考虑了量化误差与敏感性之间的关系，确保了优化过程的有效性。网络结构上，LIRQuant结合了可学习旋转和固定旋转的设计，提升了模型的灵活性与效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LIRQuant在W4A4KV4设置下实现了最先进的准确性，校准LLaMA-3-8B仅需25分钟，峰值GPU内存为20.3 GB。同时，其融合推理内核在预填充速度上提升了2.3倍，内存节省达3.5倍，展现了显著的性能优势。

🎯 应用场景

LIRQuant的研究成果在大语言模型的高效部署中具有广泛的应用潜力，尤其是在资源受限的环境中。其快速的校准能力和低内存占用使得在边缘设备和移动设备上部署大型模型成为可能，推动了智能应用的发展。

📄 摘要（原文）

Post-Training Quantization (PTQ) enables efficient deployment of Large Language Models (LLMs), yet activation outliers remain a key challenge for low-bit quantization. Existing global transformation methods overlook heterogeneous channel sensitivity to quantization noise, leading to suboptimal accuracy-efficiency trade-offs. To address this, we propose \textbf{Locally Isolated Rotation Quantization (LIRQuant)}, a sensitivity-aware framework that selectively applies transformations. LIRQuant identifies sensitive channels using a noise-weighted sensitivity metric, applying expressive learnable rotations only to these channels and lightweight fixed rotations to the remaining ones. This decoupled design reduces optimization complexity without sacrificing outlier smoothing capability. Extensive experiments across the LLaMA-2/3, Mistral, Qwen3, and Mixtral families demonstrate that LIRQuant achieves state-of-the-art accuracy under the challenging W4A4KV4 setting. Meanwhile, LIRQuant calibrates LLaMA-3-8B in only 25 minutes with 20.3 GB peak GPU memory, achieving the fastest calibration and the lowest memory footprint among recent learnable-rotation methods, and its fused inference kernels deliver up to $2.3\times$ prefill speedup and $3.5\times$ memory saving over FP16.