AdaptBPE: From General Purpose to Specialized Tokenizers

📄 arXiv: 2601.21665v1 📥 PDF

作者: Vijini Liyanage, François Yvon

分类: cs.CL

发布日期: 2026-01-29

备注: EACL 2026

🔗 代码/项目: GITHUB

💡 一句话要点

AdaptBPE提出了一种后训练的tokenizer自适应方法，提升特定领域或语言的LLM效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Tokenizer自适应 Byte-Pair Encoding 领域自适应 后训练 语言模型

📋 核心要点

  1. 通用tokenizer在处理特定领域或语言时效率较低，无法充分利用领域知识。
  2. AdaptBPE通过后训练自适应，根据目标领域语料库的token频率，替换低效用token。
  3. 实验证明，AdaptBPE在多种语言的生成和分类任务中，能更有效地压缩测试语料库。

📝 摘要（中文）

本文提出了一种后训练的tokenizer自适应策略，旨在提升大型语言模型（LLM）在特定领域或语言上的性能和效率。现有方法通常采用通用tokenizer，在训练和推理阶段对所有文本数据进行统一处理，但这种方式在应用于特定领域或语言时会产生效率低下问题。为了解决这一局限性，我们选择性地用更相关的token替换低效用的token，替换依据是它们在自适应语料库中的频率。我们的算法能够为给定的目标词汇量确定最有效地编码自适应语料库的token集合。在多种语言的生成和分类任务上的大量实验表明，与使用相同词汇量的基线方法相比，我们自适应的tokenizer能够更有效地压缩测试语料库。该方法是一种轻量级的自适应机制，类似于词汇微调过程，能够为特定领域或任务优化tokenization。

🔬 方法详解

问题定义：现有的大型语言模型通常使用通用的Byte-Pair Encoding (BPE) tokenizer。这种通用tokenizer在处理所有文本数据时一视同仁，忽略了特定领域或语言的特性。因此，当模型应用于特定领域或语言时，通用tokenizer可能会产生冗余的token，导致效率低下，例如，某些token在特定领域很少出现，但仍然占据了词汇表的位置。

核心思路：AdaptBPE的核心思路是进行tokenizer的后训练自适应。具体来说，它首先使用一个通用的BPE tokenizer训练一个初始的语言模型。然后，在特定领域的语料库上，AdaptBPE分析每个token的频率，并识别出那些在领域语料库中频率较低的“低效用”token。接下来，它用在领域语料库中频率较高的token来替换这些低效用token，从而创建一个针对特定领域的tokenizer。

技术框架：AdaptBPE的整体框架可以分为以下几个步骤：1. 使用通用语料库训练一个初始的BPE tokenizer。2. 收集特定领域的自适应语料库。3. 使用初始tokenizer对自适应语料库进行tokenization。4. 计算每个token在自适应语料库中的频率。5. 根据频率，识别出低效用token。6. 选择在自适应语料库中频率较高的新token。7. 使用新token替换低效用token，创建一个自适应的tokenizer。

关键创新：AdaptBPE的关键创新在于提出了一种轻量级的、后训练的tokenizer自适应方法。与从头开始训练tokenizer相比，AdaptBPE只需要在现有tokenizer的基础上进行少量修改，因此计算成本更低。此外，AdaptBPE能够根据特定领域的数据动态地调整tokenizer，从而更好地适应特定领域的语言特性。与微调整个模型相比，AdaptBPE只调整tokenizer，参数量小，训练速度快。

关键设计：AdaptBPE的关键设计包括：1. 如何定义“低效用”token：通常使用token在自适应语料库中的频率作为衡量标准，可以设置一个阈值，低于该阈值的token被认为是低效用的。2. 如何选择替换token：可以选择在自适应语料库中频率最高的前N个token，或者使用其他更复杂的选择策略。3. 替换比例：需要确定替换多少比例的低效用token，这需要根据具体任务和数据集进行调整。4. 词汇表大小：AdaptBPE的目标是在给定的词汇表大小下，最大化tokenizer在自适应语料库上的压缩效率。

📊 实验亮点

实验结果表明，AdaptBPE在多种语言的生成和分类任务中，与使用相同词汇量的基线方法相比，能够更有效地压缩测试语料库。具体性能提升幅度取决于任务和数据集，但总体趋势是AdaptBPE能够显著提高tokenizer的效率，从而提升模型的整体性能。代码已开源，方便复现和进一步研究。

🎯 应用场景

AdaptBPE可应用于各种需要处理特定领域或语言文本的场景，例如：医学文本处理、法律文档分析、机器翻译、特定编程语言的代码处理等。通过优化tokenizer，可以提高模型在这些领域的性能和效率，降低计算成本，并提升用户体验。该方法还可用于构建多语言模型，为不同语言定制tokenizer。

📄 摘要（原文）

Subword tokenization methods, such as Byte-Pair Encoding (BPE), significantly impact the performance and efficiency of large language models (LLMs). The standard approach involves training a general-purpose tokenizer that uniformly processes all textual data during both training and inference. However, the use of a generic set of tokens can incur inefficiencies when applying the model to specific domains or languages. To address this limitation, we propose a post-training adaptation strategy that selectively replaces low-utility tokens with more relevant ones based on their frequency in an adaptation corpus. Our algorithm identifies the token inventory that most effectively encodes the adaptation corpus for a given target vocabulary size. Extensive experiments on generation and classification tasks across multiple languages demonstrate that our adapted tokenizers compress test corpora more effectively than baselines using the same vocabulary size. This method serves as a lightweight adaptation mechanism, akin to a vocabulary fine-tuning process, enabling optimized tokenization for specific domains or tasks. Our code and data are available at https://github.com/vijini/Adapt-BPE.git.