CHOP: Chunkwise Context-Preserving Framework for RAG on Multi Documents

📄 arXiv: 2604.15802v1 📥 PDF

作者: Hyunseok Park, Jihyeon Kim, Jongeun Kim, Dongsik Yoon

分类: cs.CL

发布日期: 2026-04-17

💡 一句话要点

提出CHOP框架，通过分块上下文保持提升多文档RAG系统的检索精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG系统 多文档处理 上下文保持 知识库构建

📋 核心要点

  1. 现有RAG系统在处理相似文档时，容易产生检索混淆，导致信息冗余和错误。
  2. CHOP框架通过CNM-Extractor和连续性决策模块，为每个文档块添加上下文感知的元数据，从而减少语义冲突。
  3. 实验结果表明，CHOP能有效提高检索精度，Top-1命中率达到90.77%，并显著提升了排名质量。

📝 摘要（中文）

检索增强生成(RAG)系统在向量数据库中存在相似文档时，检索精度会降低，导致不必要的信息、幻觉和事实错误。为了缓解这个问题，我们提出了CHOP，一个迭代评估块相关性的框架，它使用大型语言模型(LLM)并逐步重建文档，通过确定它们与特定主题或查询类型的关联。CHOP集成了两个关键组件：CNM-Extractor，它生成紧凑的块签名，捕获类别、关键名词和模型名称；以及连续性决策模块，它通过决定连续块是否属于同一文档流来保持上下文连贯性。通过为每个块添加上下文感知的元数据前缀，CHOP减少了相似文档之间的语义冲突，并增强了检索器的区分能力。在基准数据集上的实验表明，CHOP减轻了检索混淆，并为构建高质量知识库提供了一种可扩展的方法，实现了90.77%的Top-1命中率，并在排名质量指标方面取得了显著提升。

🔬 方法详解

问题定义：RAG系统在处理包含大量相似文档的知识库时，检索精度会显著下降。这是因为相似文档在向量空间中距离相近，导致检索器难以区分，从而引入不相关的信息，增加模型产生幻觉和事实错误的风险。现有方法通常难以有效区分这些相似文档，无法保证检索结果的质量。

核心思路：CHOP的核心思路是通过对文档进行分块处理，并为每个块添加上下文感知的元数据，从而增强检索器区分相似文档的能力。具体来说，CHOP利用大型语言模型(LLM)来分析每个块的内容，提取关键信息，并判断相邻块之间的连续性，从而构建更具区分性的文档表示。

技术框架：CHOP框架包含两个主要模块：CNM-Extractor和连续性决策模块。CNM-Extractor负责提取每个文档块的类别、关键名词和模型名称等信息，生成紧凑的块签名。连续性决策模块则负责判断相邻块是否属于同一文档流，以保持上下文连贯性。这两个模块协同工作，为每个块添加上下文感知的元数据前缀，从而改善检索效果。整个流程包括：1. 文档分块；2. CNM-Extractor提取块签名；3. 连续性决策模块判断连续性；4. 将元数据添加到块中；5. 构建向量数据库；6. 使用RAG进行问答。

关键创新：CHOP的关键创新在于其上下文感知的文档表示方法。与传统的基于整个文档或固定大小块的表示方法不同，CHOP能够根据文档内容动态地调整块的表示，并利用LLM来提取关键信息和判断上下文关系。这种方法能够更有效地捕捉文档的语义信息，并减少相似文档之间的语义冲突。

关键设计：CNM-Extractor使用LLM来识别每个块的类别、关键名词和模型名称。连续性决策模块也使用LLM来判断相邻块是否属于同一文档流，判断的依据包括语义相似性、主题一致性等。具体实现细节和参数设置在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，CHOP框架在基准数据集上取得了显著的性能提升。Top-1命中率达到了90.77%，相较于其他基线方法有显著提高。此外，CHOP还在排名质量指标方面取得了显著的提升，表明其能够更准确地检索到相关文档。这些结果验证了CHOP框架的有效性和优越性。

🎯 应用场景

CHOP框架可应用于各种需要处理大量相似文档的RAG系统，例如企业知识库、法律文档检索、医学文献分析等。通过提高检索精度，CHOP能够减少不必要的信息、幻觉和事实错误，从而提高RAG系统的可靠性和实用性。该研究为构建高质量知识库提供了一种可扩展的方法，具有重要的实际价值和未来影响。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) systems lose retrieval accuracy when similar documents coexist in the vector database, causing unnecessary information, hallucinations, and factual errors. To alleviate this issue, we propose CHOP, a framework that iteratively evaluates chunk relevance with Large Language Models (LLMs) and progressively reconstructs documents by determining their association with specific topics or query types. CHOP integrates two key components: the CNM-Extractor, which generates compact per-chunk signatures capturing categories, key nouns, and model names, and the Continuity Decision Module, which preserves contextual coherence by deciding whether consecutive chunks belong to the same document flow. By prefixing each chunk with context-aware metadata, CHOP reduces semantic conflicts among similar documents and enhances retriever discrimination. Experiments on benchmark datasets show that CHOP alleviates retrieval confusion and provides a scalable approach for building high-quality knowledge bases, achieving a Top-1 Hit Rate of 90.77% and notable gains in ranking quality metrics.