N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models

📄 arXiv: 2610.21810v1 📥 PDF

作者: Donghoon Han, Minseop Jung, Dong Woo Kwak, SeungJae Lee, Junhoo Lee

分类: cs.LG, cs.CL

发布日期: 2026-10-15

💡 一句话要点

提出条件程序以压缩大语言模型的查找表

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 条件记忆 大语言模型 存储优化 压缩表示 高斯格架 自然语言处理 模型压缩

📋 核心要点

  1. 现有的条件记忆方法需要为每个输入保留完整的嵌入表，导致存储效率低下。
  2. 论文提出的条件程序（CP）通过压缩表示和共享重建程序，显著降低了存储需求。
  3. 实验结果表明，CP在存储预算匹配的情况下，性能优于传统的拟合码本和低秩残差方法。

📝 摘要（中文）

条件记忆通过选择性查找扩展了语言模型的容量，但必须为每个可能的输入保留完整的嵌入表。我们提出了条件程序（CP），这是一种压缩表示，仅重建输入请求的行。CP通过短代码和局部缩放来表示每一行，并在整个表中共享重建程序。我们用高斯格架、范数恢复和独立可解的行记录实例化这一表示。CP的两位代码相较于两位四舍五入，降低了输出KL散度41%至63%。对三种训练的n-gram记忆家族的分析表明，高斯型坐标统计与行间学习关系共存；在匹配存储预算下，共享格架优于我们测试的拟合码本和低秩残差变体。对于DeepSeek，它将表存储从203GB减少到51GB，为更大的工作负载留出空间，尤其是在表保留在GPU时。

🔬 方法详解

问题定义：本论文旨在解决大语言模型中条件记忆的存储效率问题。现有方法需要保留完整的嵌入表，导致存储资源浪费和计算效率低下。

核心思路：论文提出条件程序（CP），通过压缩表示和共享重建程序，仅重建输入请求的行，从而降低存储需求和计算复杂度。

技术框架：整体架构包括短代码表示、局部缩放和共享重建程序。具体流程为：输入请求后，利用CP重建所需行，进而进行后续计算。

关键创新：CP的两位代码设计显著降低了输出KL散度，相较于传统方法，提升了存储效率和计算性能。

关键设计：在技术细节上，CP采用高斯格架、范数恢复和独立可解的行记录，确保了重建的准确性和高效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，条件程序（CP）将DeepSeek的表存储从203GB减少到51GB，存储效率显著提升。同时，CP的两位代码在输出KL散度上降低了41%至63%，展现出优越的性能。

🎯 应用场景

该研究的潜在应用领域包括大规模语言模型的训练和推理，尤其是在资源受限的环境中。通过降低存储需求，研究为更复杂的模型和任务提供了可能性，推动了自然语言处理技术的进步。

📄 摘要（原文）

Conditional memory expands language-model capacity through selective lookup, but the full embedding table must remain available for every possible input. We introduce Conditional Program (CP), a compressed representation that reconstructs only the rows an input requests. CP represents each row by a short code and a local scale, with a reconstruction program shared across the table. We instantiate this representation with a Gaussian trellis, norm restoration and independently decodable row records. CP's two-bit code lowers output KL by 41--63\% relative to 2-bit round-to-nearest. Analysis across three trained n-gram memory families shows that Gaussian-like coordinate statistics coexist with learned relationships among rows; at matched storage budgets, the shared trellis outperforms the fitted codebooks and low-rank residual variants we test. For DeepSeek, it reduces table storage from 203GB to 51GB, leaving room for larger workloads when the table is kept on GPU.