N-Gram Memories at Two Bits: Quantizing Lookup Tables in Large Language Models
作者: Donghoon Han, Minseop Jung, Dong Woo Kwak, SeungJae Lee, Junhoo Lee
分类: cs.LG, cs.CL
发布日期: 2026-10-15 (更新: 2026-10-16)
💡 一句话要点
提出条件程序以优化大语言模型的查找表存储
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 条件记忆 语言模型 存储优化 高斯格架 压缩表示 深度学习 n-gram
📋 核心要点
- 现有的条件记忆方法需要为每个输入保留完整的嵌入表，导致存储效率低下。
- 本文提出的条件程序（CP）通过压缩表示，仅重构所需的行，从而优化存储使用。
- 实验结果显示，CP在多个n-gram记忆家族中显著降低了存储需求，并提高了性能。
📝 摘要（中文）
条件记忆通过选择性查找扩展了语言模型的容量，但必须为每个可能的输入保留完整的嵌入表。本文提出了一种压缩表示方法——条件程序（CP），仅重构输入请求的行。CP通过短代码和局部缩放表示每一行，并共享重构程序。通过高斯格架、范数恢复和独立可解的行记录实例化该表示。CP的两位代码相较于传统的四舍五入方法，输出KL降低了41%至63%。对三种训练的n-gram记忆家族的分析表明，高斯坐标统计与行间学习关系共存；在匹配存储预算下，共享格架优于拟合的代码本和低秩残差变体。对于DeepSeek，表存储从203GB减少到51GB，为更大的工作负载留出空间。
🔬 方法详解
问题定义：本文旨在解决大语言模型中条件记忆的存储效率问题。现有方法需要为每个输入保留完整的嵌入表，导致存储资源浪费。
核心思路：论文提出的条件程序（CP）通过压缩表示，仅重构输入请求的行。CP使用短代码和局部缩放来表示每一行，并共享重构程序，以减少存储需求。
技术框架：整体架构包括高斯格架、范数恢复和独立可解的行记录。通过这些模块，CP能够高效地重构所需的行，而不是整个嵌入表。
关键创新：CP的两位代码设计显著降低了输出KL，相较于传统的四舍五入方法，降低幅度达到41%至63%。这一创新使得在相同存储预算下，CP优于现有的拟合代码本和低秩残差变体。
关键设计：在实现中，CP采用了高斯格架作为共享重构程序，结合范数恢复技术，确保了重构的准确性和效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，条件程序（CP）在多个n-gram记忆家族中表现出色，尤其是在DeepSeek应用中，表存储从203GB减少到51GB，显著提升了存储效率，为更大工作负载的处理提供了空间。
🎯 应用场景
该研究的潜在应用领域包括大规模语言模型的优化、自然语言处理任务中的存储管理以及资源受限环境下的模型部署。通过减少存储需求，CP为更复杂的模型和更大规模的数据集提供了可能性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Conditional memory expands language-model capacity through selective lookup, but the full embedding table must remain available for every possible input. We introduce Conditional Program (CP), a compressed representation that reconstructs only the rows an input requests. CP represents each row by a short code and a local scale, with a reconstruction program shared across the table. We instantiate this representation with a Gaussian trellis, norm restoration and independently decodable row records. CP's two-bit code lowers output KL by 41--63\% relative to 2-bit round-to-nearest. Analysis across three trained n-gram memory families shows that Gaussian-like coordinate statistics coexist with learned relationships among rows; at matched storage budgets, the shared trellis outperforms the fitted codebooks and low-rank residual variants we test. For DeepSeek, it reduces table storage from 203GB to 51GB, leaving room for larger workloads when the table is kept on GPU.