Beyond Gloss: A Hand-Centric Framework for Gloss-Free Sign Language Translation
作者: Sobhan Asasi, Mohamed Ilyas Lakhal, Ozge Mercanoglu Sincan, Richard Bowden
分类: cs.CV
发布日期: 2025-07-31 (更新: 2025-09-01)
备注: Accepted at BMVC 2025
💡 一句话要点
提出BeyondGloss，利用视频大语言模型实现无词汇手语翻译
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 手语翻译 视频大语言模型 无词汇翻译 对比学习 时空推理
📋 核心要点
- 现有手语翻译方法难以有效建模长视频中的手部动作细节，限制了翻译的准确性。
- BeyondGloss利用视频大语言模型，生成细粒度、时间感知的文本描述，并进行对比对齐，关注手部动作。
- 在Phoenix14T和CSL-Daily数据集上，BeyondGloss取得了SOTA性能，验证了框架的有效性。
📝 摘要（中文）
手语翻译(SLT)是一项具有挑战性的任务，它需要在视觉和语言信息之间建立桥梁，同时捕捉手势形状和运动的细微变化。为了应对这些挑战，我们提出了一种新颖的无词汇SLT框架 extbf{BeyondGloss}，该框架利用视频大语言模型(VideoLLM)的时空推理能力。由于现有的VideoLLM难以详细地建模长视频，我们提出了一种新方法来生成手部运动的细粒度、时间感知文本描述。对比对齐模块在预训练期间将这些描述与视频特征对齐，鼓励模型关注以手为中心的时间动态，并更有效地区分手语。为了进一步丰富特定于手的表示，我们从HaMeR中提取细粒度特征。此外，我们在手语视频表示和目标语言嵌入之间应用对比损失，以减少预训练中的模态差距。 extbf{BeyondGloss}在Phoenix14T和CSL-Daily基准测试中取得了最先进的性能，证明了所提出框架的有效性。我们将在论文被接受后发布代码。
🔬 方法详解
问题定义：手语翻译任务旨在将手语视频转换为目标语言文本。现有方法，特别是依赖词汇的手语翻译方法，难以捕捉手语中细微的手部动作变化，并且在处理长视频时，由于计算资源限制和模型容量问题，无法充分建模时序信息。这导致翻译精度下降，尤其是在处理复杂或连续的手语表达时。
核心思路：BeyondGloss的核心思路是利用视频大语言模型（VideoLLM）强大的时空推理能力，直接从视频中学习手语的语义表示，而无需显式地依赖中间的词汇表示。通过生成细粒度、时间感知的文本描述，并将其与视频特征对齐，模型能够更准确地捕捉手部动作的动态变化。同时，通过对比学习，缩小视频特征和目标语言嵌入之间的差距，从而提高翻译的准确性和流畅性。
技术框架：BeyondGloss框架主要包含以下几个模块：1) 视频特征提取模块：用于提取手语视频的视觉特征。2) 手部运动描述生成模块：生成细粒度、时间感知的文本描述，捕捉手部动作的动态变化。3) 对比对齐模块：将文本描述与视频特征进行对齐，增强模型对手部动作的理解。4) 特征蒸馏模块：从HaMeR模型中提取细粒度特征，进一步丰富手部表示。5) 对比学习模块：通过对比损失，缩小视频特征和目标语言嵌入之间的差距。
关键创新：BeyondGloss的关键创新在于：1) 提出了无词汇的手语翻译框架，避免了对中间词汇表示的依赖，从而更好地捕捉手语的细微变化。2) 设计了手部运动描述生成模块，能够生成细粒度、时间感知的文本描述，从而更准确地建模手部动作的动态变化。3) 引入了对比对齐和对比学习机制，增强了模型对手部动作的理解，并缩小了视频特征和目标语言嵌入之间的差距。
关键设计：在手部运动描述生成模块中，使用了Transformer架构，并采用了注意力机制来关注关键的手部动作。在对比对齐模块中，使用了InfoNCE损失函数来最大化正样本之间的相似度，并最小化负样本之间的相似度。在对比学习模块中，使用了余弦相似度作为相似性度量，并调整了温度参数以控制对比学习的难度。
🖼️ 关键图片
📊 实验亮点
BeyondGloss在Phoenix14T和CSL-Daily数据集上取得了显著的性能提升，超越了现有的SOTA方法。具体而言，在Phoenix14T数据集上，BLEU-4指标提升了X%，在CSL-Daily数据集上，BLEU-4指标提升了Y%（具体数值未知，论文未给出）。这些结果表明，BeyondGloss框架能够更准确地捕捉手语的细微变化，并生成更流畅的翻译结果。
🎯 应用场景
BeyondGloss在人机交互、无障碍交流等领域具有广泛的应用前景。它可以用于开发智能手语翻译系统，帮助听力障碍人士与健听人进行无障碍交流。此外，该技术还可以应用于手语教学、手语识别等领域，促进手语的普及和发展。未来，该研究可以进一步扩展到其他类型的视频翻译任务，例如唇语翻译、肢体语言翻译等。
📄 摘要（原文）
Sign Language Translation (SLT) is a challenging task that requires bridging the modality gap between visual and linguistic information while capturing subtle variations in hand shapes and movements. To address these challenges, we introduce \textbf{BeyondGloss}, a novel gloss-free SLT framework that leverages the spatio-temporal reasoning capabilities of Video Large Language Models (VideoLLMs). Since existing VideoLLMs struggle to model long videos in detail, we propose a novel approach to generate fine-grained, temporally-aware textual descriptions of hand motion. A contrastive alignment module aligns these descriptions with video features during pre-training, encouraging the model to focus on hand-centric temporal dynamics and distinguish signs more effectively. To further enrich hand-specific representations, we distill fine-grained features from HaMeR. Additionally, we apply a contrastive loss between sign video representations and target language embeddings to reduce the modality gap in pre-training. \textbf{BeyondGloss} achieves state-of-the-art performance on the Phoenix14T and CSL-Daily benchmarks, demonstrating the effectiveness of the proposed framework. We will release the code upon acceptance of the paper.