Document Haystack: A Long Context Multimodal Image/Document Understanding Vision LLM Benchmark

📄 arXiv: 2507.15882v2 📥 PDF

作者: Goeric Huybrechts, Srikanth Ronanki, Sai Muralidhar Jayanthi, Jack Fitzgerald, Srinivasan Veeravanallur

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2025-07-18 (更新: 2025-08-04)

💡 一句话要点

提出Document Haystack基准，评估VLM在长文档多模态理解中的检索能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文档理解 多模态学习 视觉语言模型 信息检索 基准数据集

📋 核心要点

  1. 现有VLM在处理长文档时面临挑战，缺乏专门评估长文档理解能力的基准数据集。
  2. Document Haystack通过在长文档中插入“针”信息，考察VLM在长上下文中的信息检索能力。
  3. 该基准包含多种文档变体和大量问题，并提供自动评估框架，方便研究人员进行模型评估。

📝 摘要（中文）

多模态大型语言模型的发展显著提升了分析和理解来自不同模态的复杂数据输入的能力。然而，由于缺乏合适的基准，对长文档的处理仍未得到充分探索。为了解决这个问题，我们引入了Document Haystack，这是一个综合基准，旨在评估视觉语言模型（VLM）在长而视觉上复杂的文档上的性能。Document Haystack的文档范围从5到200页不等，并在文档中的不同深度策略性地插入纯文本或多模态文本+图像“针”，以挑战VLM的检索能力。它包含400个文档变体和总共8,250个问题，并由客观的自动化评估框架支持。我们详细介绍了Document Haystack数据集的构建和特性，展示了来自著名VLM的结果，并讨论了该领域潜在的研究方向。

🔬 方法详解

问题定义：现有视觉语言模型（VLM）在处理长文档时，缺乏有效的评估基准来衡量其在长上下文中的信息检索和理解能力。现有的数据集通常侧重于短文本或图像理解，无法充分测试VLM在长文档中定位和提取关键信息的能力，尤其是在存在视觉复杂性的情况下。

核心思路：Document Haystack的核心思路是创建一个包含长文档的数据集，并在其中策略性地插入需要模型检索的“针”（needle）信息。通过评估模型能否在长文档中准确找到这些“针”，来衡量其长上下文理解和检索能力。这种方法模拟了真实场景中需要在大量信息中找到关键信息的需求。

技术框架：Document Haystack的整体框架包括以下几个主要步骤：1) 文档生成：创建包含5到200页的长文档，文档内容可以是纯文本或包含图像的多模态内容。2) “针”插入：在文档的不同深度随机或策略性地插入“针”信息，这些“针”可以是纯文本或文本+图像的组合。3) 问题生成：根据插入的“针”信息，生成一系列问题，用于评估模型是否能够检索到这些信息。4) 模型评估：使用自动化的评估框架，评估VLM在回答问题时的准确率，从而衡量其长文档理解能力。

关键创新：Document Haystack的关键创新在于其专注于长文档和多模态信息的结合，以及策略性的“针”插入方法。与现有数据集相比，Document Haystack更真实地反映了实际应用场景中VLM需要处理的复杂文档，并提供了一种更具挑战性的评估方式。

关键设计：Document Haystack包含400个文档变体，总共8250个问题。文档长度从5页到200页不等， “针”信息插入的位置在文档的不同深度。评估指标主要为回答问题的准确率。数据集的设计考虑了文档的视觉复杂性，包括表格、图表等元素，以更全面地评估VLM的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文构建了一个包含400个文档变体和8250个问题的Document Haystack基准，文档长度从5页到200页不等。通过在该基准上评估现有VLM，可以深入了解模型在长文档理解和信息检索方面的能力，为未来的研究提供参考。

🎯 应用场景

Document Haystack基准的提出，将促进VLM在处理长文档方面的研究进展，潜在应用领域包括：法律文档分析、金融报告解读、科学文献检索、医学影像报告理解等。该基准有助于开发更强大的VLM，能够从海量文档中提取关键信息，提升工作效率和决策质量。

📄 摘要（原文）

The proliferation of multimodal Large Language Models has significantly advanced the ability to analyze and understand complex data inputs from different modalities. However, the processing of long documents remains under-explored, largely due to a lack of suitable benchmarks. To address this, we introduce Document Haystack, a comprehensive benchmark designed to evaluate the performance of Vision Language Models (VLMs) on long, visually complex documents. Document Haystack features documents ranging from 5 to 200 pages and strategically inserts pure text or multimodal text+image "needles" at various depths within the documents to challenge VLMs' retrieval capabilities. Comprising 400 document variants and a total of 8,250 questions, it is supported by an objective, automated evaluation framework. We detail the construction and characteristics of the Document Haystack dataset, present results from prominent VLMs and discuss potential research avenues in this area.