Universal Byte-Level Encoding: UTF-8/UTF-16 Routing to Reduce Cross-Script Token-Budget Disparities

📄 arXiv: 2610.01984v2 📥 PDF

作者: Hyunsik Kim, Youngmoon Jung

分类: cs.CL, cs.LG

发布日期: 2026-10-01 (更新: 2026-10-02)

备注: Accepted to NeurIPS 2026

💡 一句话要点

提出通用字节级编码以解决跨脚本令牌预算差异问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 字节级编码 多语言模型 令牌预算 Unicode 自然语言处理 机器翻译 跨脚本处理

📋 核心要点

  1. 现有的UTF-8基础BBPE在多语言文本中面临高编码底线问题，导致令牌数量增加和上下文利用率降低。
  2. 本文提出的通用字节级编码（UBE）通过将部分UTF-8字符路由至UTF-16，降低了高令牌溢价脚本的编码底线。
  3. 实验结果表明，UBE在多语言设置中有效减少了高溢价脚本的令牌数量，同时保持了英语的处理效率。

📝 摘要（中文）

字节级字节对编码（BBPE）分词器因其覆盖所有Unicode文本而受到多语言大型语言模型（LLMs）的青睐。然而，基于UTF-8的BBPE在某些脚本中面临较高的编码底线，导致令牌数量增加和上下文缩小。为此，本文提出了通用字节级编码（UBE），通过将3-4字节的UTF-8字符路由到UTF-16，降低高令牌溢价脚本的编码底线，同时保持混合脚本文本中已有效的英语段落的效率。UBE在Unicode 17审计中成功实现了所有Unicode标量值的精确回转，并在多语言实验中与BBPE的语言模型质量相匹配。

🔬 方法详解

问题定义：本文旨在解决现有UTF-8基础BBPE在多语言文本中因编码底线过高而导致的令牌预算差异问题。现有方法在处理多字节字符时，令牌数量显著增加，影响上下文的有效利用。

核心思路：通用字节级编码（UBE）通过将3-4字节的UTF-8字符路由到UTF-16，降低了高令牌溢价脚本的编码底线，同时不影响已有效的英语段落的处理效率。

技术框架：UBE的整体架构包括两个主要路径：UTF-8路径用于1-2字节字符，UTF-16路径用于3-4字节字符。该方法仅改变字节表示，保持了标准的合并规则和精确解码。

关键创新：UBE的最大创新在于其双字母表的设计，能够在不增加混合脚本文本中英语段落成本的情况下，降低高溢价脚本的编码底线。这一设计与现有方法的根本区别在于其灵活的字符路由机制。

关键设计：UBE在参数设置上保持了标准的字节对编码（BPE）合并规则，确保了与现有分词器的兼容性。此外，UBE还支持与其他边界策略和基于形态学的表示相结合，增强了其适用性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，UBE在多语言设置中显著降低了高溢价脚本的令牌数量，同时稍微降低了英语的令牌数量，提升了上下文的可用性。在内容匹配基准测试中，UBE的处理速度也得到了提升，表现出与BBPE相当的语言模型质量。

🎯 应用场景

该研究的潜在应用领域包括多语言处理、机器翻译和跨文化文本分析等。通过降低不同语言间的令牌预算差异，UBE能够提升多语言模型的效率和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Byte-level byte-pair encoding (BBPE) tokenizers are attractive for multilingual large language models (LLMs) because they cover all Unicode text. In UTF-8-based BBPE, however, many scripts start from a higher fallback cost than English: when no learned merges can be applied, a multibyte character requires multiple byte-derived symbols. We call this worst-case pre-merge cost the encoding floor. A higher floor can increase token counts and per-request cost and shrink usable context. Changing the text encoding can reduce this gap, but a single global encoding can make already-efficient English spans more expensive in mixed-script text. We propose Universal Byte-Level Encoding (UBE), a dual-alphabet tokenizer that keeps 1-2-byte UTF-8 characters on the UTF-8 path while routing 3-4-byte UTF-8 characters through UTF-16. This lowers the encoding floor for 3-byte Basic Multilingual Plane (BMP) characters in scripts with high token premiums (token counts relative to English) without raising it for already-efficient spans in mixed-script text. UBE changes only the byte representation presented to byte-pair encoding (BPE); the merge rule remains standard, and exact decoding is preserved. UBE also composes with alternative boundary policies and morphology-based representations. In a Unicode 17 audit, UBE exactly round-trips all Unicode scalar values and all inputs in the official normalization, grapheme-break, and emoji test suites. Across intrinsic evaluations, UBE lowers dispersion in English-normalized token-count ratios, reducing cross-lingual token-budget disparity. In multilingual language model (LM) experiments, UBE matches BBPE's LM quality. In the main multilingual settings, UBE reduces token counts most for high-premium scripts and slightly lowers English token counts, yielding more usable context under fixed token budgets and faster prompt processing in content-matched benchmarks.