Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall

📄 arXiv: 2505.13963v2 📥 PDF

作者: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

分类: cs.CL, cs.LG

发布日期: 2025-05-20 (更新: 2026-01-01)

备注: In submission

💡 一句话要点

研究量化对大语言模型事实知识回忆的影响，揭示量化引入的信息损失。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 量化 事实知识回忆 知识记忆 多跳推理 模型压缩 可解释性分析

📋 核心要点

  1. 现有研究对量化如何影响LLM的事实知识回忆能力（FKR）探索不足，缺乏系统性分析。
  2. 通过实验分析不同量化技术和位宽对LLM在知识记忆和多跳推理任务上的FKR影响。
  3. 实验表明量化通常导致信息损失，降低FKR能力，但在特定情况下量化甚至可以提升FKR。

📝 摘要（中文）

本文研究了量化方法对大语言模型（LLM）事实知识回忆（FKR）的影响，量化方法被广泛用于加速推理和简化LLM的部署。尽管量化对LLM各种能力的影响已被广泛研究，但一个关键领域，即事实知识回忆，仍未被充分探索。为此，我们使用三种常见的量化技术在不同的位宽上进行了全面的实验，并结合了可解释性驱动的分析，研究了知识记忆和潜在的多跳推理这两个任务。结果表明，量化通常会导致LLM内部的信息丢失，从而降低其FKR能力。这种影响在同一架构系列中较小的模型中尤为明显。然而，以降低的位精度量化的模型并不总是表现出较差的性能，有时量化甚至可以增强模型的FKR。我们发现BitSandBytes在保持原始全精度模型的FKR方面表现最佳。尽管模型和方法之间存在差异，但量化会导致适度的性能下降，并且仍然是一种有效的压缩策略。

🔬 方法详解

问题定义：论文旨在研究量化对大语言模型（LLM）事实知识回忆（FKR）的影响。现有方法虽然关注了量化对LLM其他能力的影响，但对FKR这一关键能力的探索不足，缺乏系统性的分析和理解。现有方法的痛点在于无法准确评估量化对LLM存储和检索知识的影响，以及不同量化策略对FKR的影响差异。

核心思路：论文的核心思路是通过实验分析不同量化技术和位宽对LLM在知识记忆和多跳推理任务上的FKR影响。通过对比量化前后模型的性能变化，以及结合可解释性分析，揭示量化过程中信息损失的模式和原因。这种方法旨在量化量化对LLM知识存储和检索能力的影响，并为选择合适的量化策略提供指导。

技术框架：论文的技术框架主要包括以下几个阶段： 1. 模型选择：选择不同规模的LLM进行实验。 2. 量化方法：应用三种常见的量化技术（具体方法未知）在不同的位宽上对模型进行量化。 3. 任务设计：设计知识记忆和多跳推理两个任务，用于评估模型的FKR能力。 4. 性能评估：对比量化前后模型在两个任务上的性能表现。 5. 可解释性分析：进行可解释性分析，以理解量化对模型内部知识表示的影响。

关键创新：论文的关键创新在于： 1. 系统性地研究了量化对LLM事实知识回忆能力的影响，填补了现有研究的空白。 2. 结合了可解释性分析，深入理解了量化过程中信息损失的模式和原因。 3. 发现了量化在特定情况下可以提升FKR的现象，挑战了人们对量化的传统认知。

关键设计：论文的关键设计包括： 1. 选择具有代表性的LLM模型和量化方法。 2. 设计能够有效评估FKR能力的知识记忆和多跳推理任务。 3. 采用合适的性能指标来量化模型的FKR能力。 4. 使用可解释性技术来分析量化对模型内部知识表示的影响。（具体参数设置、损失函数、网络结构等技术细节未知）

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，量化通常会导致LLM内部的信息丢失，从而降低其FKR能力，尤其是在较小的模型中。BitSandBytes在保持原始全精度模型的FKR方面表现最佳。值得注意的是，以降低的位精度量化的模型并不总是表现出较差的性能，有时量化甚至可以增强模型的FKR。总体而言，量化会导致适度的性能下降，但仍然是一种有效的压缩策略。（具体性能数据和提升幅度未知）

🎯 应用场景

该研究成果可应用于大语言模型的压缩和部署，尤其是在资源受限的场景下，如移动设备和边缘计算。通过选择合适的量化策略，可以在保证模型性能的前提下，显著降低模型的大小和计算复杂度，从而实现更高效的推理。此外，该研究还可以为未来量化算法的设计提供指导，使其更好地保留模型的知识。

📄 摘要（原文）

Quantization methods are widely used to accelerate inference and streamline the deployment of large language models (LLMs). Although quantization's effects on various LLM capabilities have been extensively studied, one critical area remains underexplored: factual knowledge recall (FKR), the process by which LLMs access stored knowledge. To this end, we conduct comprehensive experiments using three common quantization techniques at distinct bit widths, in conjunction with interpretability-driven analyses on two tasks, knowledge memorization and latent multi-hop reasoning. We show that quantization typically results in information loss within LLMs, consequently diminishing their capacity for FKR. This effect is particularly amplified in smaller models within the same architectural families. However, models quantized at reduced bit precision do not consistently exhibit inferior performance and occasionally quantization may even enhance model FKR. We find that BitSandBytes demonstrates highest preservation of the original full-precision model's FKR. Despite variability across models and methods, quantization causes modest performance degradation and remains an effective compression strategy.