GQ-VAE: A gated quantized VAE for learning variable length tokens

📄 arXiv: 2512.21913v1 📥 PDF

作者: Theo Datta, Kayla Huang, Sham Kakade, David Brandfonbrener

分类: cs.LG

发布日期: 2025-12-26

🔗 代码/项目: GITHUB

💡 一句话要点

提出门控量化VAE（GQ-VAE），用于学习变长token，作为现有tokenizer的即插即用替代方案。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 变分自编码器 token化 自然语言处理 语言模型 离散表示学习

📋 核心要点

  1. 现有token化方法（如BPE）虽然常用，但为适应学习型tokenizer，常需大幅修改语言模型架构，增加复杂性，难以大规模应用。
  2. GQ-VAE通过学习编码变长离散token，旨在提供一种可独立预训练的tokenizer，即插即用，降低集成学习型tokenizers的难度。
  3. 实验表明，GQ-VAE在压缩率和语言建模方面性能接近BPE，且在同等压缩率下，能提升下游语言模型的学习效果。

📝 摘要（中文）

本文提出了一种新颖的架构——门控量化变分自编码器（GQ-VAE），它可以被独立地预训练，作为现有tokenizer的即插即用替代方案。目前，大多数前沿模型仍然使用基于频率的确定性token化算法，如字节对编码（BPE）。虽然最近在设计学习型神经tokenizer方面取得了显著进展，但这些方案通常会增加底层语言模型的复杂性，并强制对架构进行大规模更改，从而难以大规模实施。GQ-VAE的关键创新在于学习编码变长离散token。实验表明，GQ-VAE在压缩和语言建模性能方面优于标准VQ-VAE tokenizer，并且接近BPE的压缩率和语言建模性能。有趣的是，如果使用具有较小词汇量的BPE，使得GQ-VAE和BPE之间的压缩率相当，则发现GQ-VAE可以改善下游语言模型的学习。最后，讨论了未来工作的几个令人兴奋的方向。

🔬 方法详解

问题定义：论文旨在解决现有token化方法，特别是字节对编码（BPE）等确定性算法，在与学习型语言模型结合时带来的复杂性和架构修改问题。现有方法的痛点在于，为了使用学习型tokenizer，往往需要对语言模型进行较大的改动，这增加了部署和扩展的难度。

核心思路：论文的核心思路是设计一个可以独立预训练的tokenizer，它可以作为现有tokenizer的即插即用替代方案。通过学习编码变长离散token，GQ-VAE旨在提供一种更灵活、更易于集成的token化方法，从而降低学习型tokenizer的使用门槛。

技术框架：GQ-VAE的整体架构是一个变分自编码器（VAE），但其关键在于量化层和门控机制。编码器将输入文本编码成潜在表示，然后通过量化层将其转换为离散的token。门控机制用于控制token的长度，使其能够学习变长token。解码器则将离散token解码回文本。

关键创新：GQ-VAE最重要的技术创新点在于其门控机制和变长token的学习能力。传统的VQ-VAE通常学习固定长度的token，而GQ-VAE通过门控机制，可以动态地调整token的长度，从而更好地适应不同的文本内容。这使得GQ-VAE能够更有效地压缩文本，并提高语言建模的性能。

关键设计：GQ-VAE的关键设计包括：1) 使用量化层将连续的潜在表示转换为离散的token；2) 引入门控机制来控制token的长度；3) 使用变分自编码器的框架进行训练，以学习文本的潜在表示。具体的损失函数包括重构损失、量化损失和门控损失，用于优化模型的各个部分。网络结构方面，编码器和解码器可以使用Transformer或其他序列模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GQ-VAE在压缩和语言建模性能方面优于标准的VQ-VAE tokenizer，并且接近BPE的性能。更重要的是，当与具有较小词汇量的BPE进行比较时，GQ-VAE在下游语言模型学习方面表现更好。这表明GQ-VAE能够学习到更有意义的token表示，从而提高语言模型的泛化能力。

🎯 应用场景

GQ-VAE具有广泛的应用前景，可以应用于各种自然语言处理任务中，例如机器翻译、文本摘要、对话系统等。其即插即用的特性使得它可以很容易地集成到现有的语言模型中，从而提高模型的性能。此外，GQ-VAE还可以用于文本压缩和信息检索等领域，具有重要的实际价值和未来影响。

📄 摘要（原文）

While most frontier models still use deterministic frequency-based tokenization algorithms such as byte-pair encoding (BPE), there has been significant recent work to design learned neural tokenizers. However, these schemes generally add to underlying language model complexity and force large changes to architecture, making them hard to implement at large scales. To overcome these challenges, we propose the gated quantized variational autoencoder (GQ-VAE), a novel architecture that can be independently pre-trained to serve as a drop-in replacement for existing tokenizers. The key innovation of the architecture is to learn to encode variable-length discrete tokens. GQ-VAE improves compression and language modeling performance over a standard VQ-VAE tokenizer, and approaches the compression rate and language modeling performance of BPE. Interestingly, if we use BPE with a smaller vocabulary, such that the compression is equivalent between GQ-VAE and BPE, we find that GQ-VAE improves downstream language model learning. We conclude with a discussion of several exciting avenues for future work. Code can be found at https://github.com/Theo-Datta-115/gq-vae.