Resolving Evidence Sparsity: Agentic Context Engineering for Long-Document Understanding

📄 arXiv: 2511.22850v1 📥 PDF

作者: Keliang Liu, Zizhi Chen, Mingcheng Li, Jingqun Tang, Dingkang Yang, Lihua Zhang

分类: cs.CV

发布日期: 2025-11-28

💡 一句话要点

提出SLEUTH多智能体框架，解决长文档理解中证据稀疏和冗余问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文档理解 多智能体系统 视觉语言模型 信息检索 证据推理

📋 核心要点

  1. 长文档理解任务中，视觉语言模型在单页任务表现良好，但在处理跨多页分散线索的长文档时性能下降。
  2. SLEUTH框架通过多智能体协作，从检索结果中提取关键文本和视觉信息，过滤冗余，构建证据密集的上下文。
  3. 实验表明，SLEUTH与先进VLM结合，在多个长文档基准测试中取得SOTA结果，验证了其有效性和可扩展性。

📝 摘要（中文）

本文提出了一种名为SLEUTH的多智能体框架，旨在解决长文档理解中的证据稀疏性问题。SLEUTH通过协调一个检索器和四个协作智能体，采用由粗到精的处理流程。该框架首先识别检索页面中的关键文本和视觉线索，然后过滤显著的视觉证据（如表格和图表），并分析查询以制定推理策略。最终，SLEUTH综合提炼出一个证据密集的多模态上下文，用于生成最终预测。SLEUTH具有模型无关性和可扩展性。与先进的VLM骨干网络结合使用时，它能够持续提高在多个长文档基准测试上的性能，并达到最先进水平。消融研究验证了每个模块的有效性，并证实了分层细化范式的优势。

🔬 方法详解

问题定义：长文档理解任务面临证据稀疏和信息冗余的挑战。现有视觉语言模型在处理长文档时，难以有效提取跨页面的关键信息，并且冗长的输入会影响模型的判断。检索增强生成方法虽然可以过滤相关内容，但检索结果仍然包含大量冗余信息。

核心思路：本文的核心思路是利用多智能体协作，模拟人类阅读和理解长文档的过程。通过分工合作，每个智能体负责不同的任务，例如信息检索、关键信息提取、视觉证据过滤和推理策略制定。最终，将提取的关键信息整合为证据密集的上下文，从而提高模型的理解能力。

技术框架：SLEUTH框架包含一个检索器和四个协作智能体，采用由粗到精的处理流程。首先，检索器从文档集合中检索与查询相关的页面。然后，第一个智能体识别检索页面中的关键文本线索。第二个智能体过滤显著的视觉证据，例如表格和图表。第三个智能体分析查询，制定推理策略。最后，第四个智能体综合提炼出一个证据密集的多模态上下文，用于生成最终预测。

关键创新：SLEUTH的关键创新在于其多智能体协作框架，该框架能够有效地从长文档中提取关键信息，并过滤冗余信息。此外，SLEUTH框架具有模型无关性和可扩展性，可以与不同的VLM骨干网络结合使用。这种分层细化的范式能够更好地模拟人类的阅读和理解过程。

关键设计：SLEUTH框架的具体实现细节未知，论文中没有详细描述各个智能体的具体实现方式、参数设置、损失函数和网络结构等。但可以推测，每个智能体可能采用不同的模型结构和训练方法，以适应其特定的任务。例如，信息检索智能体可能采用基于Transformer的模型，关键信息提取智能体可能采用序列标注模型，视觉证据过滤智能体可能采用目标检测模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SLEUTH框架在多个长文档基准测试中取得了最先进的结果，证明了其有效性。消融研究表明，每个模块都对整体性能有贡献，验证了多智能体协作和分层细化范式的优势。具体的性能数据和提升幅度在论文中未明确给出，属于未知信息。

🎯 应用场景

SLEUTH框架可应用于各种需要处理长文档的场景，例如法律文档分析、金融报告解读、科学文献综述等。该框架能够帮助用户快速准确地理解长文档的内容，提高工作效率。未来，SLEUTH还可以扩展到处理更复杂的文档类型，例如包含视频和音频的多模态文档。

📄 摘要（原文）

Document understanding is a long standing practical task. Vision Language Models (VLMs) have gradually become a primary approach in this domain, demonstrating effective performance on single page tasks. However, their effectiveness diminishes when handling long documents. In such scenarios, clues are often scattered across multiple pages and modalities, and redundancy from lengthy inputs can impair the models judgment. While retrieval augmented generation mitigates this issue by filtering for question relevant content, the retrieved results still contain substantial redundancy. To address these limitations, we propose SLEUTH, a multi agent framework. Concretely, SLEUTH orchestrates a retriever and four collaborative agents in a coarse to fine process. The framework identifies key textual and visual clues within the retrieved pages, filters for salient visual evidence such as tables and charts, and analyzes the query to devise a reasoning strategy. It ultimately synthesizes a distilled, evidence dense multimodal context to generate the final prediction. SLEUTH is model agnostic and scalable. When paired with advanced VLM backbones, it consistently improves performance on multiple long document benchmarks, achieving state of the art results. Ablation studies verify each modules effectiveness and confirm the benefits of our hierarchical refinement paradigm.