Yo-ByT5: Efficient and High-Fidelity Diacritic Restoration for Yorùbá

📄 arXiv: 2610.01634v1 📥 PDF

作者: Ahmad Samuel Gali, Shamsuddeen Hassan Muhammad

分类: cs.CL

发布日期: 2026-10-01

备注: 7 pages, 3 figures, 3 tables. Code and outputs: https://github.com/lazy-monster/yo-byt5

💡 一句话要点

提出Yo-ByT5以解决约鲁巴语的音调符号恢复问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 约鲁巴语 音调符号恢复 自然语言处理 字节级模型 模型微调 性能评估 计算效率

📋 核心要点

  1. 现有的约鲁巴语音调符号恢复方法在准确性和效率上存在不足，限制了其在自然语言处理中的应用。
  2. Yo-ByT5模型通过字节级处理，利用ByT5-small进行微调，旨在提高音调符号恢复的准确性与效率。
  3. 实验结果表明，Yo-ByT5在音调错误率和字符错误率上表现优异，且参数量仅为mT5-base的一半，显示出良好的文本保真度。

📝 摘要（中文）

约鲁巴语是一种广泛使用的声调语言，依赖音调符号以避免词汇歧义。然而，实际书写中常常缺乏这些符号，影响了下游自然语言处理任务。本文提出了Yo-ByT5，一个基于ByT5-small的字节级自动音调符号恢复模型。我们在YAD基准上对Yo-ByT5进行了评估，结果显示其在音调错误率（DER）为10.14%和字符错误率（CER）为3.48%的情况下，性能与现有最强模型mT5-base相当，同时参数数量约为后者的一半。我们还发布了训练代码和模型输出，并呼吁开发更大规模的专用基准以促进约鲁巴语音调符号恢复的研究。

🔬 方法详解

问题定义：本文旨在解决约鲁巴语书写中缺乏音调符号的问题，现有方法在恢复准确性和计算效率上存在挑战，影响了自然语言处理的效果。

核心思路：Yo-ByT5模型通过字节级的自动音调符号恢复，基于ByT5-small进行微调，旨在提高恢复的准确性和效率，尤其是在参数量较少的情况下。

技术框架：该模型的整体架构包括数据预处理、模型训练和评估三个主要阶段。首先对输入文本进行字节级编码，然后通过微调的ByT5-small模型进行音调符号恢复，最后在YAD基准上进行性能评估。

关键创新：Yo-ByT5的主要创新在于其字节级处理方式和模型微调策略，使得在保持高准确率的同时，显著减少了模型的参数量，与现有的mT5-base模型相比具有本质区别。

关键设计：在模型设计中，采用了适应性损失函数以优化音调符号的恢复效果，同时在训练过程中使用了数据增强技术，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Yo-ByT5在音调错误率（DER）为10.14%和字符错误率（CER）为3.48%的情况下，性能与最强模型mT5-base相当，且参数量仅为其一半，展现出更高的文本保真度和效率。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和语音识别等，尤其是在处理声调语言时，Yo-ByT5能够显著提高文本的可读性和理解度。未来，该模型的开发可能推动更多声调语言的研究和应用，促进多语言处理技术的发展。

📄 摘要（原文）

Yorùbá is a widely spoken tonal language that depends on diacritics to avoid lexical ambiguity. However, it is often written without these diacritics, thereby hindering downstream Natural Language Processing (NLP) tasks. In this paper, we introduce Yo-ByT5, a byte-level Automatic Diacritic Restoration (ADR) model fine-tuned from ByT5-small. We evaluate Yo-ByT5 alongside five publicly released Yorùbá ADR models and one open-weight large language model (LLM) on the YAD benchmark under a consistent protocol. Our results demonstrate that Yo-ByT5 matches the performance of the strongest existing model, mT5-base, with a DER of 10.14% and a CER of 3.48%. Furthermore, it exhibits superior text fidelity despite using approximately half the parameter count of mT5-base. We also release our training code and model outputs, as well as call for the development of a larger, purpose-built benchmark for Yorùbá diacritic restoration.