Egalitarian Language Representation in Language Models: It All Begins with Tokenizers

📄 arXiv: 2409.11501v1 📥 PDF

作者: Menan Velayuthan, Kengatharaiyer Sarveswaran

分类: cs.CL, cs.AI

发布日期: 2024-09-17

备注: Content - 8 pages, References - 3 pages

💡 一句话要点

提出GPE，提升语言模型分词器对复杂文字的公平表征

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分词器 语言模型 复杂文字 字形对编码 公平表征

📋 核心要点

  1. 现有语言模型的分词器对泰米尔语、僧伽罗语和印地语等复杂文字语言的表征不够公平，主要受预分词方法的影响。
  2. 论文提出字形对编码（GPE），通过在BPE算法中融入字形信息，改善对复杂文字语言的表征。
  3. 实验结果表明，对于泰米尔语、僧伽罗语和印地语等复杂文字，基于字形的字符提取优于字节级分词器。

📝 摘要（中文）

分词器是人类语言和语言模型潜在空间之间的桥梁，影响着语言在模型中的表征方式。由于以英语为中心的LLM的巨大普及，人们正在努力使它们适应其他语言。然而，我们证明，从分词的角度来看，并非所有的分词器都能为泰米尔语、僧伽罗语和印地语等复杂文字语言提供公平的表征，这主要是由于预分词方法的选择。我们进一步表明，在实现这些复杂文字语言的平等表征方面，预分词比分词算法本身起着更关键的作用。为了解决这个问题，我们通过结合字形改进了字节对编码（BPE）算法，我们称之为字形对编码（GPE）。我们的实验表明，基于字形的字符提取优于复杂文字的字节级分词器。我们通过对泰米尔语、僧伽罗语和印地语的实验验证了这种方法。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）主要以英语为中心进行训练，其分词器在处理泰米尔语、僧伽罗语和印地语等复杂文字语言时，由于预分词方法选择不当，导致对这些语言的表征不够公平。现有方法的痛点在于，它们没有充分考虑这些语言的文字特性，导致分词结果不理想，影响了模型对这些语言的理解和生成能力。

核心思路：论文的核心思路是改进分词器的预分词方法，使其更好地适应复杂文字语言的特点。具体来说，论文提出了一种新的分词方法，称为字形对编码（Grapheme Pair Encoding, GPE），该方法在字节对编码（Byte Pair Encoding, BPE）的基础上，引入了字形（grapheme）信息。这样设计的目的是为了让分词器能够更好地识别和处理复杂文字语言中的基本语义单元，从而提高分词的准确性和公平性。

技术框架：该方法主要包含以下几个阶段：1. 预分词阶段：使用基于字形的字符提取方法，将原始文本分解为字形序列。2. 字形对编码（GPE）阶段：在字形序列的基础上，使用类似于BPE的算法，迭代地合并出现频率最高的字形对，构建词表。3. 分词阶段：使用构建好的词表，将文本分解为token序列。

关键创新：最重要的技术创新点在于提出了字形对编码（GPE）方法，该方法将字形信息融入到BPE算法中，从而更好地适应复杂文字语言的特点。与传统的字节级分词器相比，GPE能够更准确地识别和处理复杂文字语言中的基本语义单元，从而提高分词的准确性和公平性。

关键设计：GPE的关键设计在于如何有效地提取和利用字形信息。论文中具体如何提取字形信息以及如何将其融入到BPE算法中，未给出详细的技术细节。损失函数和网络结构等技术细节也未知。

📊 实验亮点

实验结果表明，对于泰米尔语、僧伽罗语和印地语等复杂文字，基于字形的字符提取优于字节级分词器。具体的性能数据和提升幅度未知，但论文强调了GPE在复杂文字语言上的优越性。

🎯 应用场景

该研究成果可应用于多语言自然语言处理、机器翻译、跨语言信息检索等领域。通过提升语言模型对复杂文字语言的表征能力，可以促进这些语言的数字化发展，并为相关应用提供更好的技术支持。未来，该研究可以进一步扩展到更多的复杂文字语言，并与其他自然语言处理技术相结合，以实现更广泛的应用。

📄 摘要（原文）

Tokenizers act as a bridge between human language and the latent space of language models, influencing how language is represented in these models. Due to the immense popularity of English-Centric Large Language Models (LLMs), efforts are being made to adapt them for other languages. However, we demonstrate that, from a tokenization standpoint, not all tokenizers offer fair representation for complex script languages such as Tamil, Sinhala, and Hindi, primarily due to the choice of pre-tokenization methods. We go further to show that pre-tokenization plays a more critical role than the tokenization algorithm itself in achieving an egalitarian representation of these complex script languages. To address this, we introduce an improvement to the Byte Pair Encoding (BPE) algorithm by incorporating graphemes, which we term Grapheme Pair Encoding (GPE). Our experiments show that grapheme-based character extraction outperforms byte-level tokenizers for complex scripts. We validate this approach through experiments on Tamil, Sinhala, and Hindi.