Benchmarking Large Language Models for Handwritten Text Recognition

📄 arXiv: 2503.15195v3 📥 PDF

作者: Giorgia Crosilla, Lukas Klic, Giovanni Colavizza

分类: cs.CV

发布日期: 2025-03-19 (更新: 2025-06-23)

💡 一句话要点

评估大型语言模型在手写文本识别中的性能，探索零样本迁移能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手写文本识别 大型语言模型 零样本学习 多模态学习 历史文档 Transkribus 自主纠错

📋 核心要点

  1. 传统手写文本识别模型依赖大量标注数据，且布局与文本处理分离导致识别错误。
  2. 本研究探索了多模态大型语言模型在零样本手写文本识别中的应用，无需特定训练。
  3. 实验表明，商业LLM在零样本识别中优于开源模型，但在自主纠错方面能力有限。

📝 摘要（中文）

本研究评估了大型语言模型（LLMs）在手写文本识别（HTR）中的表现，对比了多种商业和开源LLM与Transkribus模型。传统HTR模型依赖监督学习，需要大量人工标注，且布局和文本处理分离易出错。MLLMs提供了一种通用方法，无需特定模型训练即可识别各种手写风格。评估数据集包括英语、法语、德语和意大利语的现代和历史文本。研究还测试了模型自主纠错能力。结果表明，商业模型（尤其是Claude 3.5 Sonnet）在零样本设置中优于开源模型。MLLMs在识别现代手写体方面表现出色，且由于预训练数据集的构成，更偏好英语。与Transkribus的比较未显示出任何一方的明显优势。此外，LLMs在零样本转录中自主纠错能力有限。

🔬 方法详解

问题定义：手写文本识别（HTR）旨在将图像中的手写文本转换为机器可读的文本。传统HTR方法依赖于监督学习，需要大量的人工标注数据，成本高昂。此外，这些方法通常将布局分析和文本识别分开处理，容易导致错误，尤其是在处理复杂或历史文档时。现有方法缺乏泛化能力，难以适应不同的手写风格和语言。

核心思路：本研究的核心思路是利用多模态大型语言模型（MLLMs）的强大零样本学习能力，直接进行手写文本识别，无需针对特定数据集进行训练。MLLMs在大量文本和图像数据上进行预训练，具备理解和生成文本的能力，可以将其应用于手写文本识别任务。通过将手写文本图像作为输入，MLLM可以直接生成对应的文本转录。

技术框架：研究采用零样本学习框架，直接将手写文本图像输入到MLLM中，并要求模型生成对应的文本转录。研究对比了多种商业和开源的MLLM，包括Claude 3.5 Sonnet等。同时，研究还评估了模型自主纠错的能力，即在生成初始转录后，模型能否自动识别并纠正其中的错误。研究使用了包含英语、法语、德语和意大利语的现代和历史手写文本数据集。

关键创新：本研究的关键创新在于探索了MLLM在零样本手写文本识别中的应用潜力。与传统的监督学习方法相比，MLLM无需针对特定数据集进行训练，可以快速适应不同的手写风格和语言。此外，研究还评估了模型自主纠错的能力，这对于提高HTR系统的准确率具有重要意义。研究结果表明，MLLM在现代手写文本识别方面表现出色，但在历史文本和自主纠错方面仍有提升空间。

关键设计：研究中，手写文本图像直接作为MLLM的输入，模型输出对应的文本转录。研究人员使用了标准的评估指标，如字符错误率（CER）和单词错误率（WER），来评估模型的性能。对于自主纠错的评估，研究人员分析了模型在生成初始转录后，能否自动识别并纠正其中的错误。具体的参数设置和网络结构取决于所使用的MLLM，研究人员主要关注不同MLLM在零样本HTR任务中的表现。

📊 实验亮点

实验结果表明，商业模型Claude 3.5 Sonnet在零样本手写文本识别中表现最佳，优于开源模型。MLLMs在识别现代手写体方面表现出色，但对历史文本的识别效果相对较差。与Transkribus相比，MLLMs未显示出明显的优势。此外，LLMs在零样本转录中的自主纠错能力有限。研究强调了预训练数据对模型性能的影响，英语预训练数据使得模型在英语手写文本识别中表现更佳。

🎯 应用场景

该研究成果可应用于历史文档数字化、自动化信件处理、医疗记录识别等领域。通过利用大型语言模型的零样本学习能力，可以降低手写文本识别的成本和难度，加速信息提取和知识发现。未来，该技术有望应用于更广泛的场景，例如移动设备上的手写输入、智能笔的应用等。

📄 摘要（原文）

Traditional machine learning models for Handwritten Text Recognition (HTR) rely on supervised training, requiring extensive manual annotations, and often produce errors due to the separation between layout and text processing. In contrast, Multimodal Large Language Models (MLLMs) offer a general approach to recognizing diverse handwriting styles without the need for model-specific training. The study benchmarks various proprietary and open-source LLMs against Transkribus models, evaluating their performance on both modern and historical datasets written in English, French, German, and Italian. In addition, emphasis is placed on testing the models' ability to autonomously correct previously generated outputs. Findings indicate that proprietary models, especially Claude 3.5 Sonnet, outperform open-source alternatives in zero-shot settings. MLLMs achieve excellent results in recognizing modern handwriting and exhibit a preference for the English language due to their pre-training dataset composition. Comparisons with Transkribus show no consistent advantage for either approach. Moreover, LLMs demonstrate limited ability to autonomously correct errors in zero-shot transcriptions.