Multilingual Gloss-free Sign Language Translation: Towards Building a Sign Language Foundation Model

📄 arXiv: 2505.24355v1 📥 PDF

作者: Sihan Tan, Taro Miyazaki, Kazuhiro Nakadai

分类: cs.CL

发布日期: 2025-05-30

💡 一句话要点

提出一种多语种无词汇手语翻译模型，支持多种手语互译。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手语翻译 多语种翻译 无词汇翻译 CTC损失 深度学习

📋 核心要点

  1. 现有手语翻译方法主要集中于单语种，无法有效利用多语种资源解决低资源问题。
  2. 提出一种多语种无词汇模型，利用双CTC目标实现手语识别和口语文本生成。
  3. 实验结果表明，该模型在多个基准数据集上取得了与现有最佳方法相当的性能。

📝 摘要（中文）

本文提出了一种多语种无词汇手语翻译（MLSLT）模型，旨在弥合手语和口语社区之间的沟通鸿沟。现有工作主要集中于单手语到单口语的翻译，而利用多语种资源可以缓解低资源问题并提高可访问性。然而，由于手语和口语之间的语言冲突和对齐困难，多语种手语翻译仍然未被探索。为了解决这些挑战，我们提出了一种具有双CTC目标的多语种无词汇模型，用于token级别的手语识别和口语文本生成。我们的模型支持10种手语，并处理一对一、多对一和多对多的手语翻译任务，在三个广泛采用的基准数据集（multilingual SP-10、PHOENIX14T和CSL-Daily）上实现了与最先进方法相比具有竞争力的性能。

🔬 方法详解

问题定义：现有的手语翻译系统大多是单语种的，即只能将一种手语翻译成一种口语。这限制了它们在处理多种手语和口语时的灵活性和可扩展性。此外，由于手语资源通常比较稀缺，单语种模型难以充分利用其他手语的数据来提升性能。因此，如何构建一个能够处理多种手语和口语的多语种手语翻译系统是一个重要的挑战。

核心思路：本文的核心思路是利用多语种数据来提升手语翻译的性能。具体来说，作者提出了一种无词汇的手语翻译模型，该模型直接将手语视频翻译成口语文本，而不需要中间的词汇表示。这种方法可以避免词汇对齐的困难，并且可以更好地利用不同手语之间的共享信息。

技术框架：该模型采用编码器-解码器架构。编码器负责将手语视频编码成一个高维的特征向量，解码器负责将该特征向量解码成口语文本。为了实现多语种翻译，作者在编码器和解码器中都使用了多语种嵌入。此外，作者还使用了双CTC目标函数来提高模型的训练效率。第一个CTC目标函数用于预测手语的token序列，第二个CTC目标函数用于预测口语的token序列。

关键创新：该论文的关键创新点在于提出了一种无词汇的多语种手语翻译模型。与传统的基于词汇的手语翻译模型相比，该模型可以更好地利用不同手语之间的共享信息，并且可以避免词汇对齐的困难。此外，该模型还使用了双CTC目标函数来提高模型的训练效率。

关键设计：模型使用Transformer作为编码器和解码器的主体结构。编码器输入是手语视频帧的视觉特征，例如使用I3D网络提取的特征。解码器输出是口语文本的token序列。双CTC损失函数分别作用于编码器的输出和解码器的输入，用于辅助训练。模型的训练目标是最小化交叉熵损失和两个CTC损失的加权和。具体的权重参数需要根据实验进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该模型在Multilingual SP-10、PHOENIX14T和CSL-Daily三个数据集上进行了评估，取得了与现有最佳方法相当的性能。实验结果表明，该模型能够有效地处理多语种手语翻译任务，并且具有良好的泛化能力。具体性能数据在论文中有详细展示，相较于之前的模型在特定语种和任务上有所提升。

🎯 应用场景

该研究成果可应用于开发多语种手语翻译系统，促进聋哑人群体与健听人群体的交流。该系统可以集成到移动应用、在线会议平台等，为跨语言的手语交流提供便利。未来，该技术有望进一步扩展到更多手语和口语，实现更广泛的无障碍沟通。

📄 摘要（原文）

Sign Language Translation (SLT) aims to convert sign language (SL) videos into spoken language text, thereby bridging the communication gap between the sign and the spoken community. While most existing works focus on translating a single sign language into a single spoken language (one-to-one SLT), leveraging multilingual resources could mitigate low-resource issues and enhance accessibility. However, multilingual SLT (MLSLT) remains unexplored due to language conflicts and alignment difficulties across SLs and spoken languages. To address these challenges, we propose a multilingual gloss-free model with dual CTC objectives for token-level SL identification and spoken text generation. Our model supports 10 SLs and handles one-to-one, many-to-one, and many-to-many SLT tasks, achieving competitive performance compared to state-of-the-art methods on three widely adopted benchmarks: multilingual SP-10, PHOENIX14T, and CSL-Daily.