Document Retrieval-Aware Chunking (D-RAC): Universal Retrieval-Aware Ingestion of Enterprise Documents via PDF Normalization and Multimodal Markdown Conversion

📄 arXiv: 2609.24220v1 📥 PDF

作者: Uday Allu, Abhivanth Sivaprakash, Pratik Singh, Aman Manocha

分类: cs.CV

发布日期: 2026-09-21

备注: 14 pages, 2 figures, 10 tables

💡 一句话要点

提出D-RAC以解决企业文档异构格式处理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档检索 多模态学习 信息提取 企业知识管理 PDF标准化 Markdown转换 检索优化

📋 核心要点

  1. 现有方法在处理异构文档格式时，常常导致信息丢失和高昂的计算成本。
  2. D-RAC通过将文档标准化为PDF格式，并利用多模态LLM进行Markdown转换，优化了信息提取和分块过程。
  3. 实验结果表明，D-RAC在分块阶段的输出令牌减少了95.7%，分块成本降低了77.8%，处理时间缩短了75%。

📝 摘要（中文）

在企业知识库中，检索增强生成（RAG）系统需要处理多种异构文档格式，如PDF、Word文档、演示文稿和扫描件。这些文档的内容通常被复杂的视觉布局、多列页面和密集表格锁定。现有的基于规则的提取和OCR方法会破坏阅读顺序、扁平化表格并丢失标题层级。本文提出的文档检索感知分块（D-RAC）框架，首先将输入文档标准化为PDF格式，然后通过单次多模态大语言模型（LLM）转换为检索优化的Markdown格式，保留标题层级并将表格重写为自包含的散文陈述。D-RAC在处理236个文档、795页的RAG-Multi-Corpus基准测试时，成功在72分钟内完成转换和分块，生成1748个检索准备好的块，且无错误发生。

🔬 方法详解

问题定义：本文旨在解决企业文档中异构格式的处理问题，现有方法在提取信息时常常导致信息丢失、阅读顺序混乱和高昂的计算成本。

核心思路：D-RAC的核心思路是将所有输入文档标准化为PDF格式，利用PDF的确定性渲染特性，随后通过多模态LLM将渲染后的页面转换为检索优化的Markdown格式，以保留信息的层级结构和完整性。

技术框架：D-RAC的整体架构包括文档标准化、Markdown转换和分块三个主要模块。首先，输入文档被转换为PDF格式；接着，使用LLM将PDF页面转换为Markdown；最后，进行基于标识符的分块处理。

关键创新：D-RAC的主要创新在于其能够处理任意文档格式，并且在分块过程中不再重新生成源文本，从而保持了成本、确定性和可观察性等优势。

关键设计：在设计中，D-RAC采用了轻量级的LLM进行分块规划，确保了高效的处理速度和低成本，同时保留了文档的结构信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

D-RAC在处理236个文档、795页的基准测试中，成功在72分钟内完成转换和分块，生成1748个检索准备好的块，且无错误发生。与基于前沿LLM的分块方法相比，D-RAC的输出令牌减少了95.7%，分块成本降低了77.8%，处理时间缩短了75%。

🎯 应用场景

D-RAC的研究成果具有广泛的应用潜力，尤其在企业知识管理、文档检索和信息提取等领域。通过高效处理异构文档格式，D-RAC能够显著提升企业在信息获取和利用方面的效率，未来可能推动智能文档处理技术的发展。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) systems over enterprise knowledge bases must ingest heterogeneous document formats -- PDFs, Word documents, presentations, and scans -- whose content is locked inside complex visual layouts, multi-column pages, and dense tables. Rule-based extraction and OCR destroy reading order, flatten tables, and lose heading hierarchy, while fully agentic chunking over extracted text incurs high token costs and hallucination risk. We present Document Retrieval-Aware Chunking (D-RAC), an extension of our Web Retrieval-Aware Chunking (W-RAC) framework to arbitrary document formats. D-RAC first normalizes any input document into PDF, exploiting the fact that virtually every format has a faithful, deterministic PDF rendering. A single multimodal LLM pass then converts rendered pages into retrieval-optimized Markdown -- rewriting tables as self-contained prose statements and preserving heading hierarchy -- after which chunking proceeds exactly as in W-RAC: deterministic parsing into ID-addressable units followed by lightweight LLM-based chunk planning over identifiers rather than text. Source text is never regenerated during chunking, preserving W-RAC's cost, determinism, and observability benefits while unlocking every renderable format as a first-class input. On the 236-document, 795-page PDF subset of the RAG-Multi-Corpus benchmark spanning five enterprise domains, D-RAC converts and chunks the entire corpus in 72 minutes with zero errors, producing 1,748 retrieval-ready chunks. Compared to agentic chunking with frontier LLMs, D-RAC reduces chunking-stage output tokens by 95.7%, cutting chunking cost by 77.8% (GPT-4.1 pricing) to 85.6% (Gemini 2.5 Pro pricing) and chunking time by 75%. D-RAC scales linearly to documents of 500+ pages.