Universal Byte-Level Encoding: UTF-8/UTF-16 Routing to Reduce Cross-Script Token-Budget Disparities

📄 arXiv: 2610.01984v1 📥 PDF

作者: Hyunsik Kim, Youngmoon Jung

分类: cs.CL, cs.LG

发布日期: 2026-10-01

备注: Accepted to NeurIPS 2026

💡 一句话要点

提出通用字节级编码以减少跨脚本令牌预算差异

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 字节级编码 多语言模型 令牌预算 Unicode 自然语言处理

📋 核心要点

  1. 现有的UTF-8基础BBPE方法在处理多字节字符时，面临较高的编码底线，导致令牌计数增加和上下文利用率降低。
  2. 本文提出的通用字节级编码（UBE）通过将3-4字节UTF-8字符路由到UTF-16，从而降低高令牌溢价脚本的编码底线，提升了多语言文本的处理效率。
  3. 实验结果表明，UBE在多语言模型中与BBPE的质量相当，同时显著减少了高溢价脚本的令牌计数，提升了固定令牌预算下的可用上下文。

📝 摘要（中文）

字节级字节对编码（BBPE）令牌化器因其覆盖所有Unicode文本而受到多语言大型语言模型（LLMs）的青睐。然而，基于UTF-8的BBPE在许多脚本中面临较高的编码底线，导致令牌计数增加和可用上下文缩小。为此，本文提出通用字节级编码（UBE），通过将3-4字节的UTF-8字符路由到UTF-16，降低高令牌溢价脚本的编码底线，同时保持混合脚本文本中的效率。UBE在Unicode 17审计中成功实现了所有Unicode标量值的精确回转，并在多语言模型实验中与BBPE的质量相匹配，显著降低了高溢价脚本的令牌计数。

🔬 方法详解

问题定义：本文旨在解决现有UTF-8基础BBPE在处理多字节字符时导致的高编码底线问题，这使得某些脚本的令牌计数显著高于英语，影响了多语言模型的效率。

核心思路：提出通用字节级编码（UBE），通过将3-4字节的UTF-8字符路由到UTF-16，降低高令牌溢价脚本的编码底线，同时保持混合脚本文本中英语的效率。

技术框架：UBE的整体架构包括两个主要路径：UTF-8路径用于1-2字节字符，UTF-16路径用于3-4字节字符。该方法在字节对编码（BPE）中保持标准的合并规则，确保精确解码。

关键创新：UBE的主要创新在于其双字母表设计，能够在不增加英语文本成本的情况下，降低高溢价脚本的编码底线。这一设计与现有的单一全局编码方法形成鲜明对比。

关键设计：UBE的实现依赖于对字节表示的重新设计，确保在字节对编码过程中，合并规则不变，且能够与其他边界策略和基于形态的表示相结合。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，UBE在多语言设置中显著降低了高溢价脚本的令牌计数，并在固定令牌预算下提高了可用上下文。此外，UBE在多语言模型实验中与BBPE的质量相当，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言自然语言处理、跨语言信息检索和机器翻译等。通过降低不同脚本间的令牌预算差异，UBE能够提升多语言模型的效率和准确性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Byte-level byte-pair encoding (BBPE) tokenizers are attractive for multilingual large language models (LLMs) because they cover all Unicode text. In UTF-8-based BBPE, however, many scripts start from a higher fallback cost than English: when no learned merges can be applied, a multibyte character requires multiple byte-derived symbols. We call this worst-case pre-merge cost the encoding floor. A higher floor can increase token counts and per-request cost and shrink usable context. Changing the text encoding can reduce this gap, but a single global encoding can make already-efficient English spans more expensive in mixed-script text. We propose Universal Byte-Level Encoding (UBE), a dual-alphabet tokenizer that keeps 1-2-byte UTF-8 characters on the UTF-8 path while routing 3-4-byte UTF-8 characters through UTF-16. This lowers the encoding floor for 3-byte Basic Multilingual Plane (BMP) characters in scripts with high token premiums (token counts relative to English) without raising it for already-efficient spans in mixed-script text. UBE changes only the byte representation presented to byte-pair encoding (BPE); the merge rule remains standard, and exact decoding is preserved. UBE also composes with alternative boundary policies and morphology-based representations. In a Unicode 17 audit, UBE exactly round-trips all Unicode scalar values and all inputs in the official normalization, grapheme-break, and emoji test suites. Across intrinsic evaluations, UBE lowers dispersion in English-normalized token-count ratios, reducing cross-lingual token-budget disparity. In multilingual language model (LM) experiments, UBE matches BBPE's LM quality. In the main multilingual settings, UBE reduces token counts most for high-premium scripts and slightly lowers English token counts, yielding more usable context under fixed token budgets and faster prompt processing in content-matched benchmarks.