ProcTag: Process Tagging for Assessing the Efficacy of Document Instruction Data

📄 arXiv: 2407.12358v2 📥 PDF

作者: Yufan Shen, Chuwei Luo, Zhaoqing Zhu, Yang Chen, Qi Zheng, Zhi Yu, Jiajun Bu, Cong Yao

分类: cs.CV, cs.CL

发布日期: 2024-07-17 (更新: 2025-03-12)

备注: AAAI 2025

🔗 代码/项目: GITHUB

💡 一句话要点

ProcTag：通过过程标签评估文档指令数据的有效性，提升文档VQA模型性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档视觉问答 指令数据评估 过程标签 数据选择 模型训练 DocLayPrompt 半结构化文档 布局感知

📋 核心要点

  1. 现有指令数据评估方法主要关注文本内容，忽略了指令执行过程，限制了文档VQA模型训练数据的有效评估。
  2. ProcTag通过对指令执行过程进行标签化，利用标签的多样性和复杂性评估数据集有效性，实现指令数据的选择性抽样或过滤。
  3. 实验表明，基于ProcTag的抽样方法显著优于现有评估方法，在生成数据集中仅需30.5%的数据即可达到完整数据集的性能。

📝 摘要（中文）

大型语言模型（LLMs）和多模态大型语言模型（MLLMs）在文档视觉问答（VQA）任务上表现出良好的效果，尤其是在文档指令数据集上训练后。对于构建高效的指令数据而言，有效的评估方法至关重要，这反过来有助于训练LLMs和MLLMs进行文档VQA。然而，现有的大多数指令数据评估方法仅限于指令本身的文本内容，从而阻碍了对文档指令数据集的有效评估，并限制了其构建。本文提出ProcTag，一种面向数据的文档指令数据有效性评估方法。ProcTag创新性地对指令的执行过程进行标记，而不是指令文本本身。通过利用这些标签的多样性和复杂性来评估给定数据集的有效性，ProcTag能够选择性地抽样或过滤文档指令。此外，还提出了一种新颖的半结构化布局感知文档提示策略DocLayPrompt，用于有效地表示文档。实验表明，使用ProcTag对现有的开源和生成的文档VQA/指令数据集进行抽样，显著优于当前评估指令数据的方法。令人印象深刻的是，在生成的文档数据集中使用基于ProcTag的抽样，仅需30.5%的文档指令即可达到完整数据集的100%有效性。

🔬 方法详解

问题定义：现有文档VQA指令数据的评估方法主要集中在指令文本本身，忽略了指令执行过程中的信息。这导致无法有效评估指令数据的质量和多样性，进而影响了训练出的文档VQA模型的性能。现有方法难以区分哪些指令对于模型学习更有帮助，导致训练效率低下。

核心思路：ProcTag的核心思路是对指令的执行过程进行标签化，通过分析这些标签的多样性和复杂性来评估指令数据的有效性。这种方法不再局限于指令文本，而是深入到指令的实际执行层面，从而更全面地反映指令数据的质量。通过选择具有更高质量和多样性的指令数据，可以更有效地训练文档VQA模型。

技术框架：ProcTag主要包含以下几个阶段：1) 指令执行：使用文档VQA模型执行给定的指令。2) 过程标签生成：在指令执行过程中，记录模型的中间状态和操作，并生成相应的标签。这些标签可以包括模型关注的区域、执行的操作类型等。3) 有效性评估：基于生成的标签，计算指令数据的有效性指标。这些指标可以包括标签的多样性、复杂性等。4) 数据选择：根据有效性指标，选择高质量和多样性的指令数据用于模型训练。同时，论文还提出了DocLayPrompt，一种半结构化的布局感知文档提示策略，用于更好地表示文档。

关键创新：ProcTag最重要的创新点在于其对指令执行过程的标签化评估。与现有方法仅关注指令文本不同，ProcTag深入到指令的实际执行层面，从而更全面地反映指令数据的质量。这种方法能够更有效地选择高质量和多样性的指令数据，从而提升文档VQA模型的性能。DocLayPrompt也是一个创新点，它利用文档的布局信息来提升文档表示的质量。

关键设计：ProcTag的关键设计包括：1) 过程标签的定义：需要设计合适的标签来捕捉指令执行过程中的关键信息。2) 有效性指标的计算：需要设计合理的指标来衡量标签的多样性和复杂性。3) 数据选择策略：需要设计有效的策略来选择高质量和多样性的指令数据。DocLayPrompt的关键设计在于如何有效地利用文档的布局信息，例如使用相对位置编码或图神经网络来表示文档的结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用ProcTag抽样后的数据集在文档VQA任务上显著优于现有评估方法。在生成的文档数据集中，仅使用30.5%的ProcTag抽样数据即可达到完整数据集的100%性能。这表明ProcTag能够有效地选择高质量的指令数据，从而提升模型性能和训练效率。

🎯 应用场景

ProcTag可应用于文档VQA模型的训练数据构建，通过评估和筛选指令数据，提升模型性能和训练效率。该方法还可扩展到其他任务，如图像描述、视频理解等，用于评估和优化训练数据，具有广泛的应用前景和实际价值。未来可用于自动化构建高质量的文档理解数据集。

📄 摘要（原文）

Recently, large language models (LLMs) and multimodal large language models (MLLMs) have demonstrated promising results on document visual question answering (VQA) task, particularly after training on document instruction datasets. An effective evaluation method for document instruction data is crucial in constructing instruction data with high efficacy, which, in turn, facilitates the training of LLMs and MLLMs for document VQA. However, most existing evaluation methods for instruction data are limited to the textual content of the instructions themselves, thereby hindering the effective assessment of document instruction datasets and constraining their construction. In this paper, we propose ProcTag, a data-oriented method that assesses the efficacy of document instruction data. ProcTag innovatively performs tagging on the execution process of instructions rather than the instruction text itself. By leveraging the diversity and complexity of these tags to assess the efficacy of the given dataset, ProcTag enables selective sampling or filtering of document instructions. Furthermore, DocLayPrompt, a novel semi-structured layout-aware document prompting strategy, is proposed for effectively representing documents. Experiments demonstrate that sampling existing open-sourced and generated document VQA/instruction datasets with ProcTag significantly outperforms current methods for evaluating instruction data. Impressively, with ProcTag-based sampling in the generated document datasets, only 30.5\% of the document instructions are required to achieve 100\% efficacy compared to the complete dataset. The code is publicly available at https://github.com/AlibabaResearch/AdvancedLiterateMachinery/tree/main/DocumentUnderstanding/ProcTag.