Diverse Sign Language Translation

📄 arXiv: 2410.19586v1 📥 PDF

作者: Xin Shen, Lei Shen, Shaozu Yuan, Heming Du, Haiyang Sun, Xin Yu

分类: cs.MM, cs.CV

发布日期: 2024-10-25

💡 一句话要点

提出DivSLT任务，解决手语翻译中一对多映射问题，提升翻译多样性和准确性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手语翻译 多样性生成 多参考学习 强化学习 大型语言模型

📋 核心要点

  1. 传统手语翻译模型学习一对一映射，忽略了手语表达的多样性，尤其在数据有限时表现不佳。
  2. 提出DivSLT任务，利用LLM生成多参考译文，并采用多参考训练和强化学习提升翻译多样性和准确性。
  3. 在CSL-Daily和PHOENIX14T数据集上验证，DivSLT模型在翻译性能和多样性方面均优于现有方法。

📝 摘要（中文）

本文提出了一个多样性手语翻译(DivSLT)任务，旨在为手语视频生成多样且准确的文本翻译。与口语类似，一个手语表达可能对应多个有效的文本解释。因此，对于手语翻译(SLT)模型，学习严格的一对一映射可能是不够的，尤其是在数据有限的情况下。本文首先利用大型语言模型(LLM)为广泛使用的CSL-Daily和PHOENIX14T SLT数据集生成多个参考译文，并邀请母语者润色不准确的参考译文，从而显著提高了标注效率。其次，提供了一个基准模型来促进该任务的研究。具体来说，研究了多参考训练策略，使DivSLT模型能够实现多样化的翻译。为了提高翻译准确性，采用了最大奖励驱动的强化学习目标，以最大化翻译结果的奖励。此外，还使用了多个指标来评估DivSLT任务的准确性、多样性和语义精度。在丰富数据集上的实验结果表明，DivSLT方法不仅实现了更好的翻译性能，而且实现了多样化的翻译结果。

🔬 方法详解

问题定义：现有的手语翻译模型通常学习手语视频到文本的单一映射，忽略了手语表达的自然多样性，即一个手语动作可以对应多种不同的文本解释。这种一对一的映射方式限制了模型的表达能力，尤其是在训练数据有限的情况下，容易导致翻译结果的僵化和不准确。因此，如何生成多样且准确的手语翻译是一个亟待解决的问题。

核心思路：本文的核心思路是引入多样性，允许模型为同一个手语视频生成多个不同的、但都正确的文本翻译。为了实现这一目标，首先构建了一个包含多个参考译文的数据集，然后设计了一种多参考训练策略，使模型能够学习到手语和多种文本表达之间的映射关系。此外，还利用强化学习来优化翻译结果的准确性。

技术框架：DivSLT模型的技术框架主要包含以下几个阶段：1) 多参考数据集构建：利用大型语言模型(LLM)为现有的手语翻译数据集生成多个候选译文，然后由人工进行校对和润色，得到高质量的多参考数据集。2) 多参考训练：采用多参考训练策略，使模型能够学习到手语视频和多个参考译文之间的映射关系。具体来说，可以使用诸如Seq2Seq模型，并修改损失函数以适应多参考场景。3) 强化学习优化：使用最大奖励驱动的强化学习目标，根据翻译结果的质量（例如，BLEU分数）来调整模型的参数，从而提高翻译的准确性。

关键创新：该论文的关键创新点在于：1) 提出了DivSLT任务，将手语翻译问题从一对一映射扩展到一对多映射，更符合手语的自然特性。2) 利用大型语言模型辅助生成多参考数据集，显著提高了标注效率。3) 结合多参考训练和强化学习，有效提升了翻译的多样性和准确性。

关键设计：在多参考训练中，可以采用不同的损失函数来鼓励模型生成多样化的翻译结果，例如，可以使用负对数似然损失，并结合一些正则化项来限制模型生成过于相似的翻译。在强化学习中，奖励函数的设计至关重要，可以使用BLEU、ROUGE等指标来衡量翻译结果的准确性，并结合一些多样性指标来鼓励模型生成不同的翻译。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DivSLT模型在CSL-Daily和PHOENIX14T数据集上均取得了显著的性能提升。与传统的单参考翻译模型相比，DivSLT模型不仅提高了翻译的准确性（BLEU分数提升），还显著增加了翻译的多样性（通过不同的多样性指标进行评估）。这表明DivSLT模型能够更好地捕捉手语表达的多样性，生成更符合实际情况的翻译结果。

🎯 应用场景

该研究成果可应用于手语翻译软件、手语教学工具、聋哑人辅助沟通设备等领域，具有重要的社会价值。通过提供多样化的翻译结果，可以更好地满足不同用户的需求，提高沟通效率和准确性。未来，该技术有望进一步发展，实现更加自然、流畅、智能的手语翻译。

📄 摘要（原文）

Like spoken languages, a single sign language expression could correspond to multiple valid textual interpretations. Hence, learning a rigid one-to-one mapping for sign language translation (SLT) models might be inadequate, particularly in the case of limited data. In this work, we introduce a Diverse Sign Language Translation (DivSLT) task, aiming to generate diverse yet accurate translations for sign language videos. Firstly, we employ large language models (LLM) to generate multiple references for the widely-used CSL-Daily and PHOENIX14T SLT datasets. Here, native speakers are only invited to touch up inaccurate references, thus significantly improving the annotation efficiency. Secondly, we provide a benchmark model to spur research in this task. Specifically, we investigate multi-reference training strategies to enable our DivSLT model to achieve diverse translations. Then, to enhance translation accuracy, we employ the max-reward-driven reinforcement learning objective that maximizes the reward of the translated result. Additionally, we utilize multiple metrics to assess the accuracy, diversity, and semantic precision of the DivSLT task. Experimental results on the enriched datasets demonstrate that our DivSLT method achieves not only better translation performance but also diverse translation results.