Locate, Judge, Read: Role-Specialized Tool Agents over a Knowledge-Point Index for Open-Domain Multimodal Document QA

📄 arXiv: 2610.13128v1 📥 PDF

作者: Wenlin Lin, Fanzhe Wei

分类: cs.AI, cs.CL, cs.IR

发布日期: 2026-10-09

备注: 17 pages, 3 figures, 11 tables. Code, prompts and benchmark runner: https://github.com/metask-ai/knowforge-bench

🔗 代码/项目: GITHUB

💡 一句话要点

提出KnowForge以解决开放领域多模态文档问答问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态问答 知识检索 深度学习 文档处理 信息提取

📋 核心要点

  1. 现有的检索增强型问答系统将检索和阅读功能合并到一个模型中，导致在处理复杂文档时效率低下。
  2. 本文提出KnowForge，通过将任务分离为不同的代理，优化了检索和阅读的流程，提高了问答的准确性和效率。
  3. 实验结果表明，KnowForge在多个基准测试中显著提升了性能，尤其在开放领域问答任务中表现优异。

📝 摘要（中文）

在大规模异构文档集合上进行问答需要先找到合适的段落再进行阅读，然而现有的检索增强型代理将两种工具合并为一个模型，导致调度不够高效。本文提出KnowForge，一个按任务分离的管道，包含混合检索知识点索引、仅能搜索的定位代理、强制执行第二步的桥接判断、合并每次搜索排名的证据池、仅能阅读文本、图像和表格的深度阅读代理，以及格式检查的合成器。KnowForge在开放领域M3DocVQA上达到F1 47.5，较已发布的M3DocRAG系统提升11.0，且在MultiHop-RAG上达到73.5的准确率，超越了现有最强的RAG和GraphRAG结果。

🔬 方法详解

问题定义：本文旨在解决开放领域多模态文档问答中的检索与阅读效率问题。现有方法将检索和阅读功能合并，导致在处理复杂文档时效率低下，难以充分利用各自的优势。

核心思路：KnowForge通过将任务分离为不同的代理，分别负责定位、判断和阅读，从而优化了问答流程。这样的设计使得每个代理可以专注于其特定任务，提高了整体系统的效率和准确性。

技术框架：KnowForge的整体架构包括多个模块：混合检索知识点索引、定位代理、桥接判断、证据池、深度阅读代理和合成器。定位代理负责搜索合适的段落，桥接判断确保检索和阅读的顺畅衔接，深度阅读代理则专注于从文本、图像和表格中提取信息。

关键创新：KnowForge的主要创新在于将检索和阅读功能分离为不同的代理，这与现有方法的单一模型设计形成鲜明对比。通过这种分离，系统能够更高效地处理复杂的问答任务。

关键设计：在设计中，定位代理的搜索轮次被优化为四轮，超出此数目后性能趋于平稳；深度阅读代理在不同数据集上的贡献被量化，显示出其在视觉信息处理上的优势。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

KnowForge在开放领域M3DocVQA上达到F1 47.5，相较于已发布的M3DocRAG系统提升11.0；在MultiHop-RAG上达到73.5的准确率，超越了现有最强的RAG和GraphRAG结果，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、文档检索和信息提取等。通过优化多模态文档的问答流程，KnowForge可以在教育、法律、医疗等行业中提供更高效的信息获取方式，具有重要的实际价值和未来影响。

📄 摘要（原文）

Question answering over large heterogeneous document collections requires first finding the right passages and then reading them, yet current retrieval-augmented agents give one model both kinds of tools and let it schedule itself. We present KnowForge, a pipeline separated by job: a hybrid-retrieval knowledge-point index; a Locator agent that can only search; a code-scheduled bridge judge that forces the missing second hop; a typed, size-bounded evidence pool that merges every search's ranking; a Deep Reader agent that can only read text, images and tables; and a synthesizer with a format checker. With a self-hosted Qwen3.6-35B-A3B (3B active), KnowForge reaches F1 47.5 on the full open-domain M3DocVQA (2,441 questions, 3,368 PDFs), +11.0 over the published M3DocRAG system and +7.1 over one-shot retrieve-and-answer on the same index and model, and 53.5 with DeepSeek-V4-Flash. On MultiHop-RAG it reaches 73.5 accuracy, above the strongest published RAG and GraphRAG results (71.2); on the single-document MMLongBench-Doc it lifts the same model from 34.8 to 47.0, level with GPT-4o reading page images (46.3). Per-job ablations on the full benchmarks attribute the gain: the Deep Reader is worth 3.8, 9.8 and 0 points on the three corpora, tracking how visual each is; merging both agents into one with all tools and twice the rounds loses 1.9 F1 because it keeps searching instead of reading; a round-budget sweep shows a step at four Locator rounds and a plateau beyond; query latency scales with model calls rather than corpus size. We serve the three indexed benchmarks as read-only knowledge bases (free registration) and release all prompts and the runner code: https://github.com/metask-ai/knowforge-bench