Tokenizer Choice For LLM Training: Negligible or Crucial?
作者: Mehdi Ali, Michael Fromm, Klaudia Thellmann, Richard Rutmann, Max Lübbering, Johannes Leveling, Katrin Klug, Jan Ebert, Niclas Doll, Jasper Schulze Buschhoff, Charvi Jain, Alexander Arno Weber, Lena Jurkschat, Hammam Abdelwahab, Chelsea John, Pedro Ortiz Suarez, Malte Ostendorff, Samuel Weinbach, Rafet Sifa, Stefan Kesselheim, Nicolas Flores-Herr
分类: cs.LG
发布日期: 2023-10-12 (更新: 2024-03-17)
💡 一句话要点
研究标记器选择对大语言模型训练的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 标记器选择 多语种训练 性能评估 训练成本
📋 核心要点
- 现有方法未能充分考虑标记器选择对大语言模型性能的影响，导致潜在的性能损失和训练成本增加。
- 本文通过对不同标记器算法和参数的消融实验，系统研究标记器选择对LLM下游性能的影响。
- 实验结果显示，标记器选择显著影响模型性能，且以英语为中心的标记器在多语种训练中表现不佳，增加了训练成本。
📝 摘要（中文）
近年来，大语言模型（LLMs）的成功主要归功于训练数据集的构建、模型架构的扩展以及预训练目标的进步，而标记器的影响却被忽视。本文通过对24个单语和多语种的LLM进行训练，探讨了标记器选择对下游性能的影响。研究表明，标记器的选择显著影响模型的下游性能和训练成本，且常用的标记器评估指标并不总能有效预测模型性能。此外，针对五种主要欧洲语言的多语种标记器需要将词汇量增加三倍，而以英语为中心的标记器在多语种LLM训练中会导致性能下降和高达68%的额外训练成本。
🔬 方法详解
问题定义：本文旨在解决标记器选择对大语言模型（LLM）下游性能影响的研究空白。现有方法往往忽视了标记器的选择，导致模型性能和训练成本的潜在损失。
核心思路：通过对24个单语和多语种LLM进行训练，消融不同的标记器算法和参数设置，系统性评估标记器选择对模型性能的影响。
技术框架：研究采用了2.6B参数规模的模型，设计了多种标记器算法，并通过对比实验分析其对下游任务的影响。主要模块包括标记器选择、模型训练和性能评估。
关键创新：最重要的创新在于揭示了常用的标记器评估指标（如生育性和均衡性）并不总能有效预测模型的下游性能，质疑了这些指标的有效性。
关键设计：研究中对多语种标记器进行了词汇量的扩展，发现针对五种主要欧洲语言的标记器需要将词汇量增加三倍，以避免性能下降和训练成本的增加。实验还表明，英语中心的标记器在多语种训练中会导致高达68%的额外训练成本。
🖼️ 关键图片
📊 实验亮点
实验结果表明，标记器选择对模型下游性能的影响显著，尤其是在多语种训练中，使用英语中心的标记器会导致性能下降和高达68%的额外训练成本。这一发现挑战了传统的标记器评估指标的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和多语言对话系统等。通过优化标记器选择，可以提高大语言模型在多语种环境下的性能，降低训练成本，从而推动相关技术的商业化和实际应用。未来，研究成果可能会影响多语种模型的设计和训练策略。
📄 摘要（原文）
The recent success of Large Language Models (LLMs) has been predominantly driven by curating the training dataset composition, scaling of model architectures and dataset sizes and advancements in pretraining objectives, leaving tokenizer influence as a blind spot. Shedding light on this underexplored area, we conduct a comprehensive study on the influence of tokenizer choice on LLM downstream performance by training 24 mono- and multilingual LLMs at a 2.6B parameter scale, ablating different tokenizer algorithms and parameterizations. Our studies highlight that the tokenizer choice can significantly impact the model's downstream performance and training costs. In particular, we find that the common tokenizer evaluation metrics fertility and parity are not always predictive of model downstream performance, rendering these metrics a questionable proxy for the model's downstream performance. Furthermore, we show that multilingual tokenizers trained on the five most frequent European languages require vocabulary size increases of factor three in comparison to English. While English-centric tokenizers have been applied to the training of multi-lingual LLMs in the past, we find that this approach results in a severe downstream performance degradation and additional training costs of up to 68%, due to an inefficient tokenization vocabulary.