Real-Time Sign Language to text Translation using Deep Learning: A Comparative study of LSTM and 3D CNN

📄 arXiv: 2510.13137v2 📥 PDF

作者: Madhumati Pol, Anvay Anturkar, Anushka Khot, Ayush Andure, Aniruddha Ghosh, Anvit Magadum, Anvay Bahadur

分类: cs.CV

发布日期: 2025-10-15 (更新: 2025-11-18)

期刊: International Journal of Computer Applications, Vol. 187, No. 55, pp. 31-35 (2025)

DOI: 10.5120/ijca2025925946

💡 一句话要点

对比LSTM与3D CNN，实现实时手语到文本的深度学习翻译

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 手语识别 3D CNN LSTM 深度学习 实时翻译

📋 核心要点

  1. 现有手语识别方法在精度和实时性之间存在权衡，难以兼顾边缘计算环境下的资源限制。
  2. 论文对比3D CNN和LSTM在手语识别中的性能，并探索混合模型以优化精度和效率。
  3. 实验表明3D CNN精度更高，但LSTM资源消耗更低，混合模型性能良好，为实际部署提供参考。

📝 摘要（中文）

本研究探讨了3D卷积神经网络（3D CNN）和长短期记忆（LSTM）网络在实时美国手语（ASL）识别中的性能。虽然3D CNN擅长从视频序列中提取时空特征，但LSTM针对建模序列数据中的时间依赖性进行了优化。我们在包含50个类别共1200个ASL符号的数据集上评估了这两种架构，比较了它们在相似训练条件下的准确性、计算效率和延迟。实验结果表明，3D CNN实现了92.4%的识别准确率，但每个帧的处理时间比LSTM多3.2%，而LSTM在资源消耗显著降低的情况下保持了86.7%的准确率。混合3D CNN-LSTM模型显示出不错的性能，这表明上下文相关的架构选择对于实际应用至关重要。该项目为开发辅助技术提供了专业的基准，突出了边缘计算环境中识别精度和实时操作要求之间的权衡。

🔬 方法详解

问题定义：论文旨在解决实时手语到文本的翻译问题，特别是针对美国手语（ASL）。现有方法在精度和计算效率之间存在权衡。3D CNN擅长提取视频的时空特征，但计算成本较高；LSTM擅长处理序列数据，但可能在空间特征提取方面有所不足。因此，需要找到一种在精度和实时性之间取得平衡的解决方案，尤其是在资源受限的边缘计算环境中。

核心思路：论文的核心思路是对比和评估3D CNN和LSTM两种深度学习架构在手语识别任务中的性能，并探索混合模型以结合两者的优势。通过实验分析它们的准确性、计算效率和延迟，从而为实际应用提供架构选择的依据。同时，研究强调了上下文相关的架构选择的重要性，即根据具体的应用场景和资源限制来选择合适的模型。

技术框架：整体框架包括数据预处理、模型训练和性能评估三个主要阶段。首先，对包含1200个ASL符号的数据集进行预处理，然后分别训练3D CNN、LSTM和混合3D CNN-LSTM模型。3D CNN直接从视频帧中提取时空特征，LSTM将视频帧序列作为输入，学习时间依赖关系。混合模型的具体结构未知，但推测可能是将3D CNN提取的特征作为LSTM的输入。最后，评估三种模型在准确性、计算效率和延迟方面的性能。

关键创新：论文的关键创新在于对手语识别任务中3D CNN和LSTM的性能进行了系统的对比分析，并提出了混合模型的概念。虽然3D CNN和LSTM本身并非新颖的技术，但将其应用于手语识别并进行深入的性能比较，为实际应用提供了有价值的参考。此外，强调上下文相关的架构选择也是一个重要的贡献，即根据具体的应用场景和资源限制来选择合适的模型。

关键设计：论文中关于模型和训练的细节信息有限。已知的信息包括：数据集包含1200个ASL符号，分为50个类别；评估指标包括准确性、计算效率和延迟；比较了3D CNN、LSTM和混合3D CNN-LSTM模型。关于具体的网络结构、损失函数、优化器等技术细节，论文摘要中没有提供明确的信息，属于未知内容。

📊 实验亮点

实验结果表明，3D CNN达到了92.4%的识别准确率，但每个帧的处理时间比LSTM多3.2%。LSTM在资源消耗显著降低的情况下保持了86.7%的准确率。混合3D CNN-LSTM模型显示出不错的性能，但具体数据未知。这些结果突出了精度和实时性之间的权衡，为实际应用提供了重要的参考。

🎯 应用场景

该研究成果可应用于开发辅助技术，例如实时手语翻译软件或设备，帮助听力障碍人士与他人交流。此外，该研究对手语识别在边缘计算环境下的部署具有指导意义，可应用于智能家居、智能穿戴设备等领域，提升人机交互的便捷性和智能化水平。

📄 摘要（原文）

This study investigates the performance of 3D Convolutional Neural Networks (3D CNNs) and Long Short-Term Memory (LSTM) networks for real-time American Sign Language (ASL) recognition. Though 3D CNNs are good at spatiotemporal feature extraction from video sequences, LSTMs are optimized for modeling temporal dependencies in sequential data. We evaluate both architectures on a dataset containing 1,200 ASL signs across 50 classes, comparing their accuracy, computational efficiency, and latency under similar training conditions. Experimental results demonstrate that 3D CNNs achieve 92.4% recognition accuracy but require 3.2% more processing time per frame compared to LSTMs, which maintain 86.7% accuracy with significantly lower resource consumption. The hybrid 3D CNNLSTM model shows decent performance, which suggests that context-dependent architecture selection is crucial for practical implementation.This project provides professional benchmarks for developing assistive technologies, highlighting trade-offs between recognition precision and real-time operational requirements in edge computing environments.