GeoContrastNet: Contrastive Key-Value Edge Learning for Language-Agnostic Document Understanding

📄 arXiv: 2405.03104v1 📥 PDF

作者: Nil Biescas, Carlos Boned, Josep Lladós, Sanket Biswas

分类: cs.CV

发布日期: 2024-05-06

备注: Accepted in ICDAR 2024 (Athens, Greece)

💡 一句话要点

GeoContrastNet：一种用于语言无关文档理解的对比键值边缘学习方法

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 文档理解 图注意力网络 对比学习 几何特征 键值关系识别

📋 核心要点

  1. 现有文档理解模型过度依赖OCR特征，忽略了几何布局信息的重要性，导致泛化能力受限。
  2. GeoContrastNet通过对比学习和图注意力网络，融合几何边缘特征和视觉特征，提升模型对文档结构的理解。
  3. 实验表明，该方法在链接预测和语义实体识别任务上表现出色，可与依赖OCR的大型模型相媲美。

📝 摘要（中文）

本文提出了一种语言无关的文档理解（DU）框架GeoContrastNet，该框架通过将对比学习目标与图注意力网络（GAT）相结合，强调了几何特征的重要作用。我们提出了一种新颖的方法，将几何边缘特征与视觉特征相结合，构建了一个基于GAT的两阶段框架，在链接预测和语义实体识别方面都表现出良好的结果。我们的研究结果表明，结合几何和视觉特征可以达到大型DU模型的能力，这些模型在性能准确性和效率方面严重依赖于光学字符识别（OCR）特征。这种方法强调了页面半结构化布局中命名文本实体之间关系布局信息的关键重要性。具体而言，我们的结果突出了该模型在识别FUNSD数据集中表单的键值关系以及发现RVLCDIP商业发票中表格结构化布局中的空间关系方面的能力。我们的代码和预训练模型将在我们的官方GitHub上提供。

🔬 方法详解

问题定义：现有文档理解方法，尤其是针对半结构化文档（如表单和发票），通常依赖于OCR技术提取文本信息，然后进行分析。然而，这种方法对OCR的准确性要求很高，且忽略了文档的几何布局信息，导致模型在处理低质量扫描或非标准布局时性能下降。因此，如何有效地利用文档的几何信息，提高模型的鲁棒性和泛化能力，是一个重要的挑战。

核心思路：GeoContrastNet的核心思路是将文档的几何信息（例如，文本框之间的距离、角度等）作为重要的特征，与视觉特征相结合，通过对比学习的方式，学习文档中实体之间的关系。通过图注意力网络（GAT）建模实体之间的关系，并利用对比学习目标，使得相似的实体在特征空间中更接近，不相似的实体更远离，从而提高模型对文档结构的理解能力。

技术框架：GeoContrastNet是一个两阶段的GAT框架。第一阶段，模型提取文档中每个文本框的视觉特征和几何特征，并构建图结构，其中节点代表文本框，边代表文本框之间的关系。第二阶段，模型利用GAT学习节点表示，并通过对比学习目标进行训练。具体来说，模型首先计算每个节点的嵌入向量，然后使用对比损失函数，鼓励相似的节点具有相似的嵌入向量，不相似的节点具有不同的嵌入向量。

关键创新：GeoContrastNet的关键创新在于将对比学习与GAT相结合，有效地利用了文档的几何信息。与传统的文档理解方法相比，GeoContrastNet不需要依赖OCR的准确性，而是通过学习实体之间的关系来理解文档结构。此外，GeoContrastNet的对比学习目标可以有效地提高模型的鲁棒性和泛化能力。

关键设计：GeoContrastNet的关键设计包括：1) 使用GAT建模实体之间的关系；2) 使用对比学习目标进行训练；3) 将几何特征和视觉特征相结合。具体来说，几何特征包括文本框之间的距离、角度、相对位置等。视觉特征可以使用预训练的CNN模型提取。对比学习目标可以使用InfoNCE损失函数，该损失函数可以有效地将相似的节点拉近，不相似的节点推远。GAT的参数设置需要根据具体的数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GeoContrastNet在FUNSD和RVLCDIP数据集上取得了显著的性能提升。在FUNSD数据集上，GeoContrastNet在键值关系识别任务上取得了与依赖OCR的大型模型相媲美的性能。在RVLCDIP数据集上，GeoContrastNet在空间关系发现任务上表现出色，证明了其在处理表格结构化文档方面的能力。这些结果表明，结合几何和视觉特征可以有效地提高文档理解模型的性能。

🎯 应用场景

GeoContrastNet在自动化文档处理领域具有广泛的应用前景，例如自动表单填写、发票处理、合同分析等。通过理解文档的结构和实体之间的关系，GeoContrastNet可以帮助企业提高工作效率，降低人工成本。此外，该方法还可以应用于信息抽取、知识图谱构建等领域，为人工智能应用提供更强大的支持。

📄 摘要（原文）

This paper presents GeoContrastNet, a language-agnostic framework to structured document understanding (DU) by integrating a contrastive learning objective with graph attention networks (GATs), emphasizing the significant role of geometric features. We propose a novel methodology that combines geometric edge features with visual features within an overall two-staged GAT-based framework, demonstrating promising results in both link prediction and semantic entity recognition performance. Our findings reveal that combining both geometric and visual features could match the capabilities of large DU models that rely heavily on Optical Character Recognition (OCR) features in terms of performance accuracy and efficiency. This approach underscores the critical importance of relational layout information between the named text entities in a semi-structured layout of a page. Specifically, our results highlight the model's proficiency in identifying key-value relationships within the FUNSD dataset for forms and also discovering the spatial relationships in table-structured layouts for RVLCDIP business invoices. Our code and pretrained models will be accessible on our official GitHub.