Training LLMs over Neurally Compressed Text

📄 arXiv: 2404.03626v3 📥 PDF

作者: Brian Lester, Jaehoon Lee, Alex Alemi, Jeffrey Pennington, Adam Roberts, Jascha Sohl-Dickstein, Noah Constant

分类: cs.CL, cs.LG

发布日期: 2024-04-04 (更新: 2024-12-12)

备注: Accepted in TMLR https://openreview.net/forum?id=pRvhMSV48t

💡 一句话要点

提出Equal-Info Windows以解决神经压缩文本训练LLM的问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经压缩 大型语言模型 Equal-Info Windows 文本处理 机器学习

📋 核心要点

  1. 现有的文本压缩方法在压缩率和学习效果之间存在矛盾，强压缩导致输出不透明，影响LLM的学习能力。
  2. 论文提出Equal-Info Windows技术，通过将文本分割为相同比特长度的块，实现有效的神经压缩，解决了学习难题。
  3. 实验结果表明，该方法在困惑度和推理速度上显著优于字节级基线，尽管困惑度不及子词分词器，但序列长度更短，降低了延迟。

📝 摘要（中文）

本文探讨了在高度压缩文本上训练大型语言模型（LLMs）的可能性。标准的子词分词器只能实现小幅度的文本压缩，而神经文本压缩器则能达到更高的压缩率。直接在神经压缩文本上训练LLMs可以提高训练和服务效率，并更好地处理长文本。然而，强压缩通常会产生不透明的输出，影响学习效果。我们提出了一种新颖的压缩技术Equal-Info Windows，将文本分割为每个块压缩至相同的比特长度。通过这种方法，我们展示了在神经压缩文本上有效学习的能力，并在困惑度和推理速度基准上显著超越了字节级基线。尽管与相同参数数量的子词分词器相比，我们的方法困惑度较差，但其序列长度更短，减少了自回归生成步骤，降低了延迟。

🔬 方法详解

问题定义：本文旨在解决在神经压缩文本上训练大型语言模型（LLMs）时遇到的学习困难，现有的强压缩方法往往导致输出不透明，难以被模型学习。

核心思路：提出Equal-Info Windows技术，通过将文本分割为相同比特长度的块，确保每个块的压缩效果一致，从而提高学习的可行性。

技术框架：整体流程包括文本的神经压缩、Equal-Info Windows分块处理、以及在压缩文本上进行的LLM训练。主要模块包括文本压缩器和训练模型。

关键创新：Equal-Info Windows是本文的核心创新，与传统的压缩方法相比，它通过均匀分配信息量来提高学习效果，克服了强压缩带来的学习障碍。

关键设计：在参数设置上，采用了均匀比特长度的块划分，损失函数设计上注重学习效率，网络结构则优化以适应压缩文本的特性。具体细节尚未完全公开，需进一步研究。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用Equal-Info Windows技术的模型在困惑度和推理速度基准上显著优于字节级基线，且随着模型规模的增加，学习效果不断提升。尽管困惑度不及子词分词器，但序列长度的减少有效降低了延迟。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、文本生成和信息检索等。通过提高LLM在压缩文本上的学习能力，可以在资源受限的环境中实现更高效的模型训练和推理，具有重要的实际价值和未来影响。

📄 摘要（原文）

In this paper, we explore the idea of training large language models (LLMs) over highly compressed text. While standard subword tokenizers compress text by a small factor, neural text compressors can achieve much higher rates of compression. If it were possible to train LLMs directly over neurally compressed text, this would confer advantages in training and serving efficiency, as well as easier handling of long text spans. The main obstacle to this goal is that strong compression tends to produce opaque outputs that are not well-suited for learning. In particular, we find that text naïvely compressed via Arithmetic Coding is not readily learnable by LLMs. To overcome this, we propose Equal-Info Windows, a novel compression technique whereby text is segmented into blocks that each compress to the same bit length. Using this method, we demonstrate effective learning over neurally compressed text that improves with scale, and outperforms byte-level baselines by a wide margin on perplexity and inference speed benchmarks. While our method delivers worse perplexity than subword tokenizers for models trained with the same parameter count, it has the benefit of shorter sequence lengths. Shorter sequence lengths require fewer autoregressive generation steps, and reduce latency. Finally, we provide extensive analysis of the properties that contribute to learnability, and offer concrete suggestions for how to further improve the performance of high-compression tokenizers.