The Tokenizer Tax: Quantifying and Explaining the Cross-Lingual Cost of Subword Tokenization for Indian Languages
作者: Priyansh Srivastava
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-07-27
💡 一句话要点
量化印度语言的子词标记化成本以解决跨语言问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 子词标记化 跨语言处理 印度语言 多语言标记器 自然语言处理 机器翻译 文本内容保留
📋 核心要点
- 现有的子词标记器主要基于英语训练，导致非英语语言在标记化时面临显著劣势，尤其是印度语言。
- 本文通过量化标记化成本，提出了使用多语言标记器来降低印度语言的标记化税的解决方案。
- 实验结果表明，使用多语言标记器可以将印度语言的平均标记化成本降低73%，显著改善文本内容保留率。
📝 摘要（中文）
大型语言模型（LLMs）通过子词标记器处理文本，而非直接读取字符或单词。由于这些标记器主要在以英语为中心的语料库上训练，它们为许多非英语语言引入了系统性且常被忽视的劣势。本文利用FLORES-200平行语料库量化了印度语言的标记化成本，测量了六种广泛使用的标记器和十四种语言的标记化丰度。在使用cl100k_base（GPT-3.5和GPT-4所用）时，印度语言的平均标记化成本是英语的8.0倍，马拉雅拉姆语甚至达到13.0倍，导致有效上下文窗口仅为英语用户的12%。我们识别出这一差异的主要机制是字节对合并失败，导致文本碎片化为单字节标记，合并失败与标记化成本之间存在强相关性（Pearson r = 0.89）。
🔬 方法详解
问题定义：本文解决的是现有子词标记器在处理印度语言时引入的标记化成本问题，尤其是由于训练数据的偏向性导致的标记化效率低下。
核心思路：论文的核心思路是通过量化不同标记器在印度语言上的表现，识别出导致标记化成本高的主要因素，并提出使用多语言标记器作为解决方案。
技术框架：研究使用FLORES-200平行语料库，比较六种标记器在十四种语言上的标记化效果，分析标记化丰度与文本内容保留的关系。
关键创新：最重要的创新点在于识别出字节对合并失败是导致标记化成本高的主要原因，并证明这一现象与标记器设计相关，而非印度文字本身的特性。
关键设计：研究中使用了多种标记器的比较，特别关注合并失败的统计数据，并通过Pearson相关系数分析标记化成本与文本内容保留率之间的关系。实验还涉及对比多语言标记器与单语言标记器的性能差异。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在使用cl100k_base标记器时，印度语言的平均标记化成本是英语的8.0倍，马拉雅拉姆语甚至达到13.0倍。使用多语言标记器后，印度语言的标记化成本平均降低73%，显著提高了文本内容的保留率。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和跨语言信息检索等。通过改善印度语言的标记化效率，可以提升相关应用的性能，促进多语言环境下的公平性与可访问性，尤其是在教育和信息传播领域。
📄 摘要（原文）
Large language models (LLMs) process text through subword tokenizers rather than directly reading characters or words. Because these tokenizers are trained predominantly on English-centric corpora, they introduce a systematic and often overlooked disadvantage for many non-English languages. In this work, we quantify this tokenizer tax for Indian languages using the FLORES-200 parallel corpus, measuring tokenization fertility across six widely used tokenizers and fourteen languages. Under cl100k_base (used by GPT-3.5 and GPT-4), Indian languages experience an average 8.0x tokenization tax relative to English, reaching 13.0x for Malayalam, reducing the effective context window to as little as 12% of that available to English users for equivalent semantic content. We identify the primary mechanism behind this disparity: failed byte-pair merges that leave text fragmented into single-byte tokens, with merge failure strongly correlating with tokenizer tax (Pearson r = 0.89). We further show that this phenomenon is not an inherent property of Indic scripts but a consequence of tokenizer design. Multilingual tokenizers such as XLM-R and OpenAI's o200k_base reduce the average Indic tokenizer tax by 73%, demonstrating that the disparity is largely remediable. Beyond token statistics, we quantify a practical consequence by showing that, under fixed context budgets, Indian-language documents preserve substantially less original content than equivalent English documents. Finally, we examine the relationship between tokenizer fertility and reading comprehension performance on the Belebele benchmark, finding that the apparent correlation is largely explained by language resource availability rather than tokenizer behavior alone.