Lossless Compression of Large Language Model-Generated Text via Next-Token Prediction

📄 arXiv: 2505.06297v1 📥 PDF

作者: Yu Mao, Holger Pirk, Chun Jason Xue

分类: cs.LG, cs.CL

发布日期: 2025-05-07

💡 一句话要点

利用下一token预测，实现对大语言模型生成文本的无损压缩

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 无损压缩 文本压缩 下一token预测 生成式AI 算术编码 LLM压缩

📋 核心要点

  1. LLM生成数据量激增，传统压缩方法难以有效处理其复杂性和多样性，导致压缩效率低下。
  2. 利用LLM自身对生成文本的高度可预测性，将LLM作为压缩器，预测下一token以实现高效压缩。
  3. 实验表明，基于LLM的压缩方法压缩率超过20倍，远超Gzip的3倍，且在不同LLM和数据集上表现稳健。

📝 摘要（中文）

随着大型语言模型（LLM）在各个领域的部署和应用，LLM生成的数据量正在迅速增长。这突显了在现代文本管理系统中对此类数据进行有效无损压缩的重要性。然而，与传统的人工或机器生成内容相比，压缩LLM生成的数据面临着独特的挑战。传统的机器生成数据通常来自计算过程或设备输出，结构高度化且仅限于标签或数值等低级元素，这使得传统的无损压缩器能够高效地工作。相比之下，LLM生成的数据更加复杂和多样化，需要新的方法来实现有效的压缩。在这项工作中，我们首次对专门为LLM生成的数据量身定制的无损压缩技术进行了系统的研究。值得注意的是，由于LLM是通过下一token预测进行训练的，我们发现LLM生成的数据对于模型本身来说是高度可预测的。这种可预测性使得LLM能够作为自身输出的高效压缩器。通过对14个具有代表性的LLM和来自不同领域的8个LLM生成数据集进行的大量实验，我们表明基于LLM的预测方法实现了显著的压缩率，超过20倍，远远超过了广泛使用的通用压缩器Gzip所实现的3倍压缩率。此外，这种优势在不同的LLM大小和数据集类型中都成立，证明了基于LLM的方法在生成式AI工作负载下进行无损文本压缩的鲁棒性和实用性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）生成文本的无损压缩问题。现有通用压缩算法（如Gzip）在处理LLM生成文本时效率较低，因为LLM生成文本具有更高的复杂性和多样性，与传统机器生成数据（如传感器数据）的结构化和低级特征截然不同。现有方法无法充分利用LLM生成文本的内在特性进行有效压缩。

核心思路：论文的核心思路是利用LLM自身作为压缩器。由于LLM在训练过程中学习了预测下一个token，因此它对自身生成的文本具有高度的可预测性。通过利用这种可预测性，可以将LLM用于编码和解码LLM生成的文本，从而实现高效的无损压缩。

技术框架：该方法的核心在于使用LLM进行下一token的预测。编码过程：对于给定的LLM生成文本，使用LLM预测每个token的概率分布。然后，使用概率分布对实际的token进行编码，常用的方法是算术编码或霍夫曼编码。解码过程：使用相同的LLM和编码时使用的概率分布，逐步解码出原始文本。整体流程包括：1. 使用LLM生成文本；2. 使用LLM预测下一token概率；3. 使用概率分布进行编码；4. 存储编码后的数据；5. 使用LLM和概率分布进行解码，恢复原始文本。

关键创新：该方法最重要的创新点在于利用了LLM自身的能力进行压缩。与传统的通用压缩算法不同，该方法针对LLM生成文本的特性进行了优化，充分利用了LLM对自身生成文本的高度可预测性。这使得该方法能够实现更高的压缩率。

关键设计：关键设计在于如何有效地利用LLM的预测概率进行编码。一种常用的方法是算术编码，它可以根据概率分布将token编码为更短的比特序列。此外，还可以使用霍夫曼编码等其他编码方法。另一个关键设计是选择合适的LLM作为压缩器。论文实验了不同大小和类型的LLM，以评估其压缩性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于LLM的压缩方法在14个不同的LLM和8个LLM生成数据集上均表现出色，压缩率超过20倍，远高于Gzip的3倍。这一优势在不同LLM大小和数据集类型中都成立，证明了该方法的鲁棒性和实用性。例如，在某个特定数据集上，使用特定LLM进行压缩，压缩率达到了25倍。

🎯 应用场景

该研究成果可广泛应用于各种需要存储和传输大量LLM生成文本的场景，例如：AI助手日志存储、内容创作平台、代码生成工具、以及科学研究数据管理等。通过提高压缩率，可以显著降低存储成本、减少网络带宽占用，并加速数据传输，从而提升整体系统效率和用户体验。

📄 摘要（原文）

As large language models (LLMs) continue to be deployed and utilized across domains, the volume of LLM-generated data is growing rapidly. This trend highlights the increasing importance of effective and lossless compression for such data in modern text management systems. However, compressing LLM-generated data presents unique challenges compared to traditional human- or machine-generated content. Traditional machine-generated data is typically derived from computational processes or device outputs, often highly structured and limited to low-level elements like labels or numerical values. This structure enables conventional lossless compressors to perform efficiently. In contrast, LLM-generated data is more complex and diverse, requiring new approaches for effective compression. In this work, we conduct the first systematic investigation of lossless compression techniques tailored specifically to LLM-generated data. Notably, because LLMs are trained via next-token prediction, we find that LLM-generated data is highly predictable for the models themselves. This predictability enables LLMs to serve as efficient compressors of their own outputs. Through extensive experiments with 14 representative LLMs and 8 LLM-generated datasets from diverse domains, we show that LLM-based prediction methods achieve remarkable compression rates, exceeding 20x, far surpassing the 3x rate achieved by Gzip, a widely used general-purpose compressor. Furthermore, this advantage holds across different LLM sizes and dataset types, demonstrating the robustness and practicality of LLM-based methods in lossless text compression under generative AI workloads.