HTR-JAND: Handwritten Text Recognition with Joint Attention Network and Knowledge Distillation

📄 arXiv: 2412.18524v1 📥 PDF

作者: Mohammed Hamdan, Abderrahmane Rahiche, Mohamed Cheriet

分类: cs.CV

发布日期: 2024-12-24

🔗 代码/项目: GITHUB

💡 一句话要点

HTR-JAND：结合联合注意力网络与知识蒸馏的手写文本识别框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 手写文本识别 知识蒸馏 注意力机制 卷积神经网络 序列建模

📋 核心要点

  1. 现有手写文本识别系统难以处理历史文档的复杂性，包括书写风格多样、文本质量差和计算效率要求高等问题。
  2. HTR-JAND框架结合了CNN特征提取、联合注意力机制和知识蒸馏，旨在提升识别精度和模型效率。
  3. 实验结果表明，HTR-JAND在多个数据集上取得了最先进的字符错误率，并显著降低了模型参数量。

📝 摘要（中文）

本文提出了一种高效的手写文本识别框架HTR-JAND，它结合了先进的特征提取和知识蒸馏技术，旨在解决历史文档中存在的书写风格多样、文本质量退化以及跨语言和时期计算效率要求等复杂问题。该架构包含三个关键组件：(1) 一个CNN架构，集成了FullGatedConv2d层和Squeeze-and-Excitation块，用于自适应特征提取；(2) 一个组合注意力机制，融合了多头自注意力机制和Proxima注意力机制，用于鲁棒的序列建模；(3) 一个知识蒸馏框架，通过基于课程的学习实现高效的模型压缩，同时保持准确性。HTR-JAND框架采用多阶段训练方法，结合课程学习、合成数据生成和多任务学习，以实现跨数据集的知识迁移。通过上下文感知的T5后处理来提高识别精度，尤其适用于历史文档。综合评估表明了HTR-JAND的有效性，在IAM、RIMES和Bentham数据集上分别实现了1.23%、1.02%和2.02%的最先进的字符错误率（CER）。我们的学生模型通过有效的知识转移，在参数减少48%（0.75M对比1.5M参数）的同时，保持了具有竞争力的性能。源代码和预训练模型可在Github上获取。

🔬 方法详解

问题定义：论文旨在解决手写文本识别（HTR）在处理历史文档时面临的挑战，包括书写风格多样、文本质量退化以及计算效率要求高等问题。现有方法在这些复杂场景下表现不佳，难以达到理想的识别精度和效率。

核心思路：论文的核心思路是结合先进的特征提取、鲁棒的序列建模和知识蒸馏技术，构建一个高效且准确的HTR框架。通过自适应特征提取、联合注意力机制和模型压缩，提升模型在复杂历史文档上的识别性能，并降低计算成本。

技术框架：HTR-JAND框架主要包含三个模块：1) 特征提取模块：采用CNN架构，结合FullGatedConv2d层和Squeeze-and-Excitation块，实现自适应特征提取。2) 序列建模模块：使用组合注意力机制，融合多头自注意力机制和Proxima注意力机制，增强序列建模的鲁棒性。3) 知识蒸馏模块：通过课程学习，将教师模型的知识迁移到学生模型，实现模型压缩和性能保持。此外，还采用了多阶段训练方法，包括课程学习、合成数据生成和多任务学习。最后，使用上下文感知的T5后处理来提高识别精度。

关键创新：该论文的关键创新在于：1) 提出了结合FullGatedConv2d和Squeeze-and-Excitation块的CNN架构，用于自适应特征提取。2) 设计了融合多头自注意力和Proxima注意力的组合注意力机制，增强了序列建模的鲁棒性。3) 采用了知识蒸馏框架，通过课程学习实现高效的模型压缩，同时保持准确性。与现有方法相比，HTR-JAND在特征提取、序列建模和模型压缩方面都进行了创新。

关键设计：在特征提取模块中，FullGatedConv2d层和Squeeze-and-Excitation块的具体参数设置未知。在序列建模模块中，多头自注意力和Proxima注意力的头数、维度等参数设置未知。在知识蒸馏模块中，课程学习的具体策略、损失函数权重等参数设置未知。多阶段训练方法中，各个阶段的训练数据、学习率等参数设置未知。T5后处理的具体实现细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HTR-JAND在IAM、RIMES和Bentham数据集上分别取得了1.23%、1.02%和2.02%的最先进的字符错误率（CER）。同时，通过知识蒸馏，学生模型在参数减少48%（0.75M对比1.5M参数）的情况下，保持了具有竞争力的性能，证明了该框架在精度和效率方面的优势。

🎯 应用场景

该研究成果可应用于历史文档的数字化、古籍修复、图书馆自动化、档案管理等领域。通过提高手写文本识别的准确性和效率，可以更好地保存和利用珍贵的历史资料，促进文化传承和学术研究。未来，该技术还可扩展到其他类型的手写文本识别任务，如医疗记录、法律文件等。

📄 摘要（原文）

Despite significant advances in deep learning, current Handwritten Text Recognition (HTR) systems struggle with the inherent complexity of historical documents, including diverse writing styles, degraded text quality, and computational efficiency requirements across multiple languages and time periods. This paper introduces HTR-JAND (HTR-JAND: Handwritten Text Recognition with Joint Attention Network and Knowledge Distillation), an efficient HTR framework that combines advanced feature extraction with knowledge distillation. Our architecture incorporates three key components: (1) a CNN architecture integrating FullGatedConv2d layers with Squeeze-and-Excitation blocks for adaptive feature extraction, (2) a Combined Attention mechanism fusing Multi-Head Self-Attention with Proxima Attention for robust sequence modeling, and (3) a Knowledge Distillation framework enabling efficient model compression while preserving accuracy through curriculum-based training. The HTR-JAND framework implements a multi-stage training approach combining curriculum learning, synthetic data generation, and multi-task learning for cross-dataset knowledge transfer. We enhance recognition accuracy through context-aware T5 post-processing, particularly effective for historical documents. Comprehensive evaluations demonstrate HTR-JAND's effectiveness, achieving state-of-the-art Character Error Rates (CER) of 1.23\%, 1.02\%, and 2.02\% on IAM, RIMES, and Bentham datasets respectively. Our Student model achieves a 48\% parameter reduction (0.75M versus 1.5M parameters) while maintaining competitive performance through efficient knowledge transfer. Source code and pre-trained models are available at \href{https://github.com/DocumentRecognitionModels/HTR-JAND}{Github}.