GAIDA: Generative AI for Human-in-the-Loop Document Annotation

📄 arXiv: 2610.26362v1 📥 PDF

作者: Islam Mesabah, Ali Elhosary, Priyabanta Sandulu, Darko Obradovic, Sebastian J. Vollmer

分类: cs.AI

发布日期: 2026-10-19

💡 一句话要点

提出GAIDA以优化文档标注过程中的人机协作

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档标注 人机协作 光学字符识别 大型语言模型 数据提取 模块化设计 语义预标注

📋 核心要点

  1. 现有文档标注方法往往依赖于完全自动化，未能有效利用人类审核的优势。
  2. GAIDA提出了一种模块化的人机协作架构，结合OCR、LLM和人工验证，优化了标注流程。
  3. 实验结果显示，OCR辅助可将区域创建和转录时间减少至80.9%，LLM预标注审核可减少73.7%的语义标注时间。

📝 摘要（中文）

文档标注是构建文档信息提取系统的基础且劳动密集的步骤。尽管光学字符识别（OCR）和大型语言模型（LLMs）可以自动化部分过程，但我们认为标注系统的评估不应仅关注其消除人力的程度，而应关注其如何有效地将人力重定向到审核和修正上。我们提出了一种模块化的人机协作架构，集成了基于OCR的提取、基于LLM的语义预标注和人工验证，形成一个可编辑的工作流程，并展示了GAIDA作为其参考实现的研究原型。GAIDA支持可互换的OCR引擎、LLM后端和提示配置，并能够对标注工作量进行阶段性测量。

🔬 方法详解

问题定义：本论文旨在解决文档标注过程中人力资源的低效利用问题。现有方法往往追求完全自动化，导致人类审核环节被忽视，影响标注质量和效率。

核心思路：GAIDA的核心思路是通过人机协作，结合OCR和LLM的优势，优化文档标注流程，使人类审核者能够更有效地进行校正和验证。

技术框架：GAIDA的整体架构包括三个主要模块：OCR引擎用于文本提取，LLM进行语义预标注，最后由人工审核进行验证和修正。该架构支持不同的OCR和LLM配置，形成灵活的工作流程。

关键创新：GAIDA的主要创新在于其模块化设计，允许用户根据需求选择不同的OCR和LLM，且能够在标注过程中进行阶段性工作量测量，这与传统的完全自动化方法有本质区别。

关键设计：GAIDA的设计中，OCR引擎和LLM的选择可以根据具体任务进行调整，提示配置也可灵活设置，以适应不同的标注需求。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在初步实验中，GAIDA在FUNSD和WildReceipt基准上表现出色，OCR辅助将区域创建和转录时间减少了80.9%，而LLM预标注审核则将语义标注时间减少了73.7%。尽管预标注的Micro F1分别为78.86%和86.98%，但仍显示出自动化输出在人工控制下的实用价值。

🎯 应用场景

GAIDA的研究成果在文档信息提取、数据标注和机器学习模型训练等领域具有广泛的应用潜力。通过优化人机协作，GAIDA能够提高标注效率和准确性，为企业和研究机构在处理大量文档时提供实用的解决方案，未来可能推动更多智能文档处理系统的开发。

📄 摘要（原文）

Document annotation is a fundamental yet labor-intensive step in building document information extraction systems. While Optical Character Recognition (OCR) and Large Language Models (LLMs) can automate parts of this process, we argue that annotation systems should be judged not by how completely they remove human effort, but by how effectively they redirect it toward review and correction. We propose a modular human-in-the-loop architecture that integrates OCR-based extraction, LLM-based semantic pre-annotation, and human validation in a single editable workflow, and present \textbf{GAIDA}, a research prototype serving as its reference implementation. GAIDA supports interchangeable OCR engines, LLM backends, and prompt configurations, and enables stage-specific measurement of annotation effort. In an initial single-annotator, stage-specific study on the FUNSD scanned-form and WildReceipt retail-receipt benchmarks, OCR assistance reduced region-creation and transcription time by up to \textbf{80.9\%}, and reviewing LLM pre-annotations reduced semantic-labeling time by up to \textbf{73.7\%}, despite imperfect pre-annotations of 78.86\% and 86.98\% Micro F1 on FUNSD and WildReceipt, respectively. Finally, we reuse the same implementation, adapting only OCR and prompt configuration, to build and openly release \textbf{AraReceipt}, a manually annotated dataset of 100 Arabic receipt images labeled with 25 key-information classes. The results indicate that imperfect automated outputs provide practical value when presented as editable suggestions under human control.