An HTR-LLM Workflow for High-Accuracy Transcription and Analysis of Abbreviated Latin Court Hand

📄 arXiv: 2507.04132v1 📥 PDF

作者: Joshua D. Isom

分类: cs.DL, cs.CL, cs.CV

发布日期: 2025-07-05

💡 一句话要点

提出四阶段工作流程以提高中世纪法律文件的转录精度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手写文本识别 大型语言模型 多模态校正 法律文书 中世纪文献 命名实体校正 转录精度

📋 核心要点

  1. 现有的手写文本识别方法在处理复杂的中世纪法律文件时准确性不足，导致转录结果不可靠。
  2. 论文提出了一种四阶段的工作流程，结合HTR模型和LLM进行多模态校正与文本扩展，旨在提高转录精度。
  3. 通过详细案例研究，验证该方法在字错误率（WER）上达到了2-7%，显著提升了转录质量。

📝 摘要（中文）

本文提出并验证了一种理想的四阶段工作流程，用于高精度转录和分析复杂的中世纪法律文件。该过程首先使用一种专门的手写文本识别（HTR）模型，该模型通过一种新颖的“干净真实数据”策划方法生成，利用大型语言模型（LLM）来优化训练数据。接下来，基线转录结果与原始文档图像一起输入LLM进行多模态后校正，进一步提高准确性。经过扩展和命名实体校正，最终实现了2-7%的字错误率（WER），验证了该工作流程在自动化转录方面的有效性和高质量输出的能力。

🔬 方法详解

问题定义：本文旨在解决中世纪法律文件转录中的高准确性问题，现有方法在处理复杂手写文本时常常面临准确性不足的挑战。

核心思路：论文提出的四阶段工作流程通过结合手写文本识别（HTR）模型与大型语言模型（LLM），实现了从基线转录到多模态校正，再到文本扩展和命名实体校正的全面优化。

技术框架：整体流程分为四个主要阶段：第一阶段使用HTR模型生成基线转录；第二阶段将基线与原始图像输入LLM进行后校正；第三阶段通过提示引导LLM将缩写文本扩展为完整的学术拉丁文；第四阶段进行命名实体校正，确保专有名词的准确性和可读性。

关键创新：最重要的创新在于“干净真实数据”策划方法的引入，使得训练数据的质量显著提高，从而提升了HTR模型的性能。与现有方法相比，该流程在多模态校正和文本扩展方面具有更高的准确性和可靠性。

关键设计：在模型设计上，采用了特定的损失函数以优化转录结果，并通过精细调整网络结构来适应中世纪法律文本的特征，确保了模型在复杂文本上的表现。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，该工作流程在字错误率（WER）上达到了2-7%，相较于传统方法有显著提升。这一结果表明，四阶段的混合方法有效地自动化了转录过程中的繁琐环节，同时确保了输出的高质量和可分析性。

🎯 应用场景

该研究的潜在应用领域包括历史文献的数字化、法律文书的自动化处理以及文化遗产的保护与研究。通过提高转录精度，能够更好地保存和分析历史文献，为学术研究和法律实践提供支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

This article presents and validates an ideal, four-stage workflow for the high-accuracy transcription and analysis of challenging medieval legal documents. The process begins with a specialized Handwritten Text Recognition (HTR) model, itself created using a novel "Clean Ground Truth" curation method where a Large Language Model (LLM) refines the training data. This HTR model provides a robust baseline transcription (Stage 1). In Stage 2, this baseline is fed, along with the original document image, to an LLM for multimodal post-correction, grounding the LLM's analysis and improving accuracy. The corrected, abbreviated text is then expanded into full, scholarly Latin using a prompt-guided LLM (Stage 3). A final LLM pass performs Named-Entity Correction (NEC), regularizing proper nouns and generating plausible alternatives for ambiguous readings (Stage 4). We validate this workflow through detailed case studies, achieving Word Error Rates (WER) in the range of 2-7% against scholarly ground truths. The results demonstrate that this hybrid, multi-stage approach effectively automates the most laborious aspects of transcription while producing a high-quality, analyzable output, representing a powerful and practical solution for the current technological landscape.