Enhancing Retrieval Augmented Generation with Hierarchical Text Segmentation Chunking

📄 arXiv: 2507.09935v1 📥 PDF

作者: Hai Toan Nguyen, Tien Dat Nguyen, Viet Ha Nguyen

分类: cs.CL, cs.AI

发布日期: 2025-07-14

💡 一句话要点

提出基于层级文本分割的RAG增强方法，提升检索信息的语义连贯性与准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG 层级文本分割 文本聚类 语义连贯性 信息检索 大型语言模型

📋 核心要点

  1. 传统RAG分块方法忽略文本结构，导致语义信息不完整，影响检索效果。
  2. 提出层级文本分割与聚类方法，生成更具语义连贯性的文本块，提升RAG性能。
  3. 实验表明，该方法在多个QA数据集上优于传统分块方法，提升了检索精度。

📝 摘要（中文）

检索增强生成（RAG）系统通常使用分块策略进行检索，通过使大型语言模型（LLM）能够访问外部知识来增强其能力，确保检索到的信息是最新的且特定于领域的。然而，传统方法通常无法创建捕获足够语义意义的块，因为它们没有考虑潜在的文本结构。本文提出了一种新颖的框架，通过整合层级文本分割和聚类来生成更具意义和语义连贯性的块，从而增强RAG。在推理过程中，该框架利用段级别和簇级别的向量表示来检索信息，从而提高检索更精确和上下文相关信息的可能性。在NarrativeQA、QuALITY和QASPER数据集上的评估表明，与传统的分块技术相比，所提出的方法取得了改进的结果。

🔬 方法详解

问题定义：论文旨在解决传统RAG系统中，由于文本分块策略未能充分考虑文本内在结构，导致检索到的信息语义不完整、上下文关联性差的问题。现有方法通常采用固定大小或基于简单规则的分块，无法有效捕捉长文本中的语义单元，从而影响了检索的准确性和效率。

核心思路：论文的核心思路是利用层级文本分割和聚类方法，将文本分解为具有内在语义联系的段落和簇，从而生成更具语义连贯性的文本块。通过在段落和簇级别进行向量表示和检索，可以更全面地捕捉文本的语义信息，提高检索的准确性。

技术框架：该框架主要包含以下几个阶段：1) 层级文本分割：使用算法将原始文本分割成多个层级的段落，例如句子、段落、章节等。2) 向量表示：对每个段落和簇进行向量表示，例如使用预训练的语言模型（如BERT、RoBERTa）生成嵌入向量。3) 文本聚类：将具有相似语义的段落聚类成簇，形成更高层次的语义单元。4) 检索：在检索阶段，同时利用段落级别和簇级别的向量表示进行检索，从而更全面地捕捉文本的语义信息。5) 生成：将检索到的信息输入到大型语言模型中，生成最终的答案或文本。

关键创新：该方法最重要的创新点在于将层级文本分割和聚类引入到RAG系统中，从而能够更好地捕捉文本的内在结构和语义关系。与传统的固定大小或基于规则的分块方法相比，该方法能够生成更具语义连贯性的文本块，从而提高检索的准确性和效率。

关键设计：论文中可能涉及的关键设计包括：1) 层级分割算法的选择：例如，可以使用基于规则的分割方法，也可以使用基于机器学习的分割方法。2) 向量表示模型的选择：例如，可以使用BERT、RoBERTa等预训练语言模型。3) 聚类算法的选择：例如，可以使用K-means、层次聚类等算法。4) 检索策略的设计：例如，可以同时使用段落级别和簇级别的向量表示进行检索，也可以根据不同的情况选择不同的检索策略。具体的参数设置、损失函数和网络结构等细节可能在论文中详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在NarrativeQA、QuALITY和QASPER数据集上取得了显著的性能提升。与传统分块方法相比，该方法能够检索到更精确和上下文相关的信息，从而提高了问答系统的准确性。具体的性能数据和提升幅度需要在论文中查找。

🎯 应用场景

该研究成果可广泛应用于问答系统、知识库构建、智能客服等领域。通过提升RAG系统的检索精度和效率，可以更好地利用外部知识，提高LLM在特定领域的表现。未来，该方法有望应用于更复杂的文本理解和生成任务，例如文档摘要、机器翻译等。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) systems commonly use chunking strategies for retrieval, which enhance large language models (LLMs) by enabling them to access external knowledge, ensuring that the retrieved information is up-to-date and domain-specific. However, traditional methods often fail to create chunks that capture sufficient semantic meaning, as they do not account for the underlying textual structure. This paper proposes a novel framework that enhances RAG by integrating hierarchical text segmentation and clustering to generate more meaningful and semantically coherent chunks. During inference, the framework retrieves information by leveraging both segment-level and cluster-level vector representations, thereby increasing the likelihood of retrieving more precise and contextually relevant information. Evaluations on the NarrativeQA, QuALITY, and QASPER datasets indicate that the proposed method achieved improved results compared to traditional chunking techniques.