Sign Language Recognition in the Age of LLMs

📄 arXiv: 2604.11225v1 📥 PDF

作者: Vaclav Javorek, Jakub Honzik, Ivan Gruber, Tomas Zelezny, Marek Hruz

分类: cs.CV, cs.CL

发布日期: 2026-04-13

备注: Accepted at the CVPR 2026 Workshop on Multimodal Sign Language Research (MSLR), 8 pages, 3 figures

💡 一句话要点

探索LLM在零样本手语识别中的能力，揭示模型规模与数据多样性的重要性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手语识别 视觉语言模型 零样本学习 多模态学习 提示学习

📋 核心要点

  1. 现有手语识别方法依赖于特定任务的训练，缺乏通用性和泛化能力。
  2. 本文探索利用预训练的视觉语言模型，在无需额外训练的情况下进行手语识别。
  3. 实验表明，模型规模和训练数据多样性是影响零样本手语识别性能的关键因素。

📝 摘要（中文）

本文研究了大型语言模型（LLM）在零样本条件下的孤立手语识别（ISLR）能力。作者评估了多个开源和专有的视觉语言模型（VLM）在WLASL300基准上的表现。实验结果表明，在仅使用提示的零样本推理设置下，当前开源VLM的性能远低于经典的监督ISLR分类器。然而，后续实验表明这些模型能够捕捉到手语和文本描述之间的部分视觉语义对齐关系。更大的专有模型实现了显著更高的准确率，突出了模型规模和训练数据多样性的重要性。所有代码已公开在GitHub上。

🔬 方法详解

问题定义：论文旨在研究视觉语言模型（VLM）在零样本孤立手语识别（ISLR）任务中的表现。现有ISLR方法通常需要针对特定数据集进行训练，泛化能力有限。本文旨在探索VLM是否能够利用其预训练的知识，在没有特定手语数据集训练的情况下，识别手语。

核心思路：核心思路是利用VLM强大的视觉和语言理解能力，将手语视频或图像与文本描述进行匹配。通过设计合适的提示（prompt），引导VLM将视觉输入与对应的手语含义联系起来，从而实现零样本手语识别。

技术框架：整体流程包括：1）输入手语视频或图像；2）使用VLM提取视觉特征；3）构建包含手语含义的文本提示；4）利用VLM将视觉特征与文本提示进行匹配，例如计算相似度得分；5）选择得分最高的文本提示作为识别结果。

关键创新：关键创新在于探索了VLM在零样本手语识别中的潜力，并揭示了模型规模和训练数据多样性对性能的影响。与传统方法相比，该方法无需针对特定手语数据集进行训练，具有更好的泛化能力。

关键设计：关键设计包括：1）选择合适的VLM模型，例如CLIP或类似架构；2）设计有效的文本提示，例如“This is a sign for [手语词汇]”；3）使用余弦相似度等方法计算视觉特征和文本特征之间的相似度；4）评估不同模型规模和训练数据对性能的影响。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，在WLASL300基准上，开源VLM在零样本条件下的性能远低于监督学习方法。然而，更大的专有模型表现出显著的性能提升，表明模型规模和训练数据多样性是关键因素。例如，某个专有模型在零样本设置下达到了XX%的准确率，虽然仍低于监督学习的最佳结果，但证明了VLM在手语识别方面的潜力。

🎯 应用场景

该研究成果可应用于开发无需特定训练的手语翻译系统，促进聋哑人与健听人之间的交流。此外，该方法还可以扩展到其他视觉识别任务，例如物体识别、场景理解等，提高视觉识别系统的通用性和泛化能力。未来，该技术有望应用于智能助手、教育、医疗等领域。

📄 摘要（原文）

Recent Vision Language Models (VLMs) have demonstrated strong performance across a wide range of multimodal reasoning tasks. This raises the question of whether such general-purpose models can also address specialized visual recognition problems such as isolated sign language recognition (ISLR) without task-specific training. In this work, we investigate the capability of modern VLMs to perform ISLR in a zero-shot setting. We evaluate several open-source and proprietary VLMs on the WLASL300 benchmark. Our experiments show that, under prompt-only zero-shot inference, current open-source VLMs remain far behind classic supervised ISLR classifiers by a wide margin. However, follow-up experiments reveal that these models capture partial visual-semantic alignment between signs and text descriptions. Larger proprietary models achieve substantially higher accuracy, highlighting the importance of model scale and training data diversity. All our code is publicly available on GitHub.