Is (Selective) Round-To-Nearest Quantization All You Need?

📄 arXiv: 2505.15909v1 📥 PDF

作者: Alex Kogan

分类: cs.LG

发布日期: 2025-05-21

💡 一句话要点

重新审视RTN量化：一种高效且具竞争力的LLM量化方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化 大型语言模型 RTN 模型压缩 推理加速

📋 核心要点

  1. 现有LLM量化方法通常复杂且计算成本高昂，简单的RTN量化方法因性能不足而被忽视。
  2. 论文核心思想是重新评估RTN量化的潜力，通过选择性地提高模型部分层的数据精度来提升整体性能。
  3. 实验结果表明，优化后的RTN量化在精度上可与更复杂的量化方法媲美，同时保持更高的token生成吞吐量。

📝 摘要（中文）

量化已成为部署日益增长的大型语言模型（LLM）的必要工具。RTN（Round-to-Nearest，四舍五入）是最简单的量化技术之一，早在LLM成为机器学习（ML）研究前沿之前就已存在。然而，近来更先进的量化方法几乎在所有性能方面都声称优于RTN，因此RTN在很大程度上被忽视。本文旨在消除这种既定观点，表明RTN不仅应用成本更低，而且其token生成吞吐量可以优于更先进的替代方案，并且精度可以与之媲美。特别地，我们讨论了基于最新Marlin内核的RTN实现，并展示了如何通过选择性地提高某些模型层和模块的数据精度格式来逐步提高RTN的精度。基于我们的结果，我们认为RTN为量化LLM提供了一种可行且实用的选择。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）量化的问题。现有先进量化方法虽然在精度上有所提升，但计算复杂度高，部署成本大，而简单的RTN量化方法虽然计算效率高，但精度通常较低，难以满足实际应用需求。因此，如何在精度和效率之间取得平衡是本文要解决的关键问题。

核心思路：论文的核心思路是重新审视RTN量化的潜力，并提出一种选择性的精度提升策略。作者认为，并非所有模型层都需要高精度量化，通过分析模型结构，选择性地对关键层采用更高精度的数据格式，可以在保证整体精度的前提下，显著降低计算复杂度。

技术框架：论文提出的方法基于标准的RTN量化流程，主要包括以下几个阶段：1) 对LLM进行初步的RTN量化；2) 分析量化后模型的性能瓶颈，确定对精度影响较大的关键层或模块；3) 选择性地提高这些关键层的数据精度格式，例如从INT4提升到INT8或FP16；4) 对整个模型进行微调，以进一步优化量化后的性能。

关键创新：论文最重要的技术创新点在于提出了“选择性精度提升”的策略。与传统的对所有层采用相同量化精度的方法不同，该方法能够根据模型结构和性能瓶颈，灵活地调整不同层的量化精度，从而在精度和效率之间取得更好的平衡。这种选择性策略能够充分利用硬件资源，提高token生成吞吐量。

关键设计：论文的关键设计包括：1) 基于Marlin内核的RTN量化实现，能够充分利用硬件加速；2) 一种用于确定关键层的分析方法，例如基于梯度或激活值的敏感性分析；3) 一种微调策略，用于优化选择性精度提升后的模型性能。具体的参数设置和网络结构取决于所使用的LLM模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过选择性地提高关键层的数据精度，RTN量化在精度上可以与更复杂的量化方法媲美，同时保持更高的token生成吞吐量。具体而言，在某些LLM模型上，优化后的RTN量化甚至可以超越一些先进的量化方法，同时显著降低计算成本。

🎯 应用场景

该研究成果可广泛应用于对延迟敏感的LLM部署场景，例如在线对话系统、实时翻译等。通过使用RTN量化，可以在保证一定精度的前提下，显著提高token生成吞吐量，降低计算成本，从而使得LLM能够更好地服务于实际应用。

📄 摘要（原文）

Quantization became a necessary tool for serving ever-increasing Large Language Models (LLMs). RTN (Round-to-Nearest) is perhaps the simplest quantization technique that has been around well before LLMs surged to the forefront of machine learning (ML) research. Yet, it has been largely dismissed by recent and more advanced quantization methods that claim superiority over RTN in nearly every aspect of performance. This work aims to dispel this established point of view, showing that RTN is not only much cheaper to apply, but also its token generation throughput can be better than and accuracy can be similar to more advanced alternatives. In particular, we discuss our implementation of RTN based on the recent Marlin kernels and demonstrate how the accuracy of RTN can be gradually improved by selectively increasing the data precision format of certain model layers and modules. Based on our results, we argue that RTN presents a viable and practical choice for quantizing LLMs.