Fingerspelling within Sign Language Translation

📄 arXiv: 2408.07065v1 📥 PDF

作者: Garrett Tanzer

分类: cs.CL, cs.CV

发布日期: 2024-08-13

💡 一句话要点

提出基于字符级tokenization的手语翻译模型，提升对手指语的理解能力

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 手语翻译 手指语识别 字符级Tokenization ByT5 机器翻译

📋 核心要点

  1. 手指语因其快速变化和开放词汇特性，对手语翻译构成显著挑战，现有研究对其在完整语句中的理解不足。
  2. 论文核心在于利用字符级tokenization模型（ByT5）来更精细地处理手指语，期望提升翻译模型对手指语的理解。
  3. 实验表明，采用字符级tokenization能显著提升对手指语的理解和翻译质量，而混合手指语识别数据训练的效果不明显。

📝 摘要（中文）

由于高频运动和开放词汇的使用，手指语给手语处理带来了挑战。虽然之前的工作已经研究了手指语识别，但很少关注手语翻译模型在整个句子上下文中对手指语的理解程度，以及如何提高这种能力。我们手动标注了FLEURS-ASL中的手指语实例，并用它们来评估两种简单措施的效果，以提高美式手语到英语翻译中的手指语识别能力：1) 使用具有字符级而非子词级tokenization的模型系列(ByT5)；2) 将手指语识别数据混合到翻译训练集中。我们发现1)大大提高了对手指语的理解(从而提高了整体翻译质量)，但2)的效果好坏参半。

🔬 方法详解

问题定义：论文旨在解决手语翻译模型在处理包含手指语的句子时，对手指语理解不足的问题。现有方法通常采用子词级别的tokenization，这对于处理手指语这种由字母快速拼写组成的序列来说，粒度太粗，难以捕捉到细微的字母变化，导致翻译质量下降。

核心思路：论文的核心思路是采用字符级别的tokenization，使得模型能够更精细地处理手指语中的每一个字母，从而更好地理解手指语的含义。同时，探索将手指语识别数据混合到翻译训练数据中，以增强模型对手指语的识别能力。

技术框架：论文主要基于现有的手语翻译模型，并在此基础上进行改进。具体来说，使用了ByT5模型，该模型支持字符级别的tokenization。研究人员首先手动标注了FLEURS-ASL数据集中的手指语实例，然后使用这些数据来评估不同tokenization方法和训练策略的效果。整体流程包括数据预处理、模型训练、评估和分析。

关键创新：论文的关键创新在于将字符级别的tokenization应用于手语翻译任务，特别是针对手指语的处理。与传统的子词级别tokenization相比，字符级别tokenization能够更好地捕捉手指语中的字母信息，从而提高翻译的准确性。

关键设计：论文的关键设计包括：1) 选择ByT5模型作为基础模型，因为它支持字符级别的tokenization；2) 手动标注FLEURS-ASL数据集中的手指语实例，用于评估模型性能；3) 探索将手指语识别数据混合到翻译训练数据中，以增强模型对手指语的识别能力。论文没有详细说明具体的损失函数或网络结构修改，而是侧重于tokenization方法和训练数据的选择。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，使用字符级tokenization（ByT5）能够显著提高手语翻译模型对手指语的理解能力，从而提升整体翻译质量。具体提升幅度未知，但论文强调了字符级tokenization的积极作用。而将手指语识别数据混合到翻译训练集中，效果并不稳定。

🎯 应用场景

该研究成果可应用于实时手语翻译系统、手语教学工具以及辅助聋哑人交流的设备中。通过提升对手指语的理解，可以显著改善手语翻译的准确性和流畅性，促进聋哑人与健听人之间的无障碍沟通，具有重要的社会价值和应用前景。

📄 摘要（原文）

Fingerspelling poses challenges for sign language processing due to its high-frequency motion and use for open-vocabulary terms. While prior work has studied fingerspelling recognition, there has been little attention to evaluating how well sign language translation models understand fingerspelling in the context of entire sentences -- and improving this capability. We manually annotate instances of fingerspelling within FLEURS-ASL and use them to evaluate the effect of two simple measures to improve fingerspelling recognition within American Sign Language to English translation: 1) use a model family (ByT5) with character- rather than subword-level tokenization, and 2) mix fingerspelling recognition data into the translation training mixture. We find that 1) substantially improves understanding of fingerspelling (and therefore translation quality overall), but the effect of 2) is mixed.