Scaling DPPs for RAG: Density Meets Diversity

📄 arXiv: 2604.03240 📥 PDF

作者: Xun Sun, Baiheng Xie, Li Huang, Qiang Gao

分类: cs.LG, cs.AI, cs.CL

发布日期: 2026-04-07

💡 一句话要点

提出ScalDPP，通过行列式点过程提升RAG中检索结果的密度与多样性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 行列式点过程 信息密度 多样性检索 P-Adapter

📋 核心要点

  1. 传统RAG忽略检索候选块间的关联，导致检索结果冗余，信息密度低且缺乏互补性。
  2. ScalDPP利用行列式点过程(DPP)建模块间依赖，通过P-Adapter实现可扩展的上下文选择。
  3. 提出多样性边际损失(DML)，鼓励模型选择互补的真实证据链，实验验证了ScalDPP的有效性。

📝 摘要（中文）

检索增强生成(RAG)通过外部知识来增强大型语言模型(LLM)，从而产生与事实证据和不断发展的语料库相一致的相关响应。标准的RAG流程通过相关性排序构建上下文，执行用户查询和每个语料块之间的点式评分。然而，这种公式忽略了检索到的候选者之间的交互，导致冗余的上下文，稀释了密度，并且未能呈现互补的证据。我们认为，有效的检索应该联合优化密度和多样性，确保基础证据在信息上是密集的，但在覆盖范围上是多样的。在这项研究中，我们提出了ScalDPP，一种用于RAG的感知多样性的检索机制，它通过轻量级的P-Adapter结合了行列式点过程(DPPs)，从而能够对块间依赖关系和互补上下文选择进行可扩展的建模。此外，我们开发了一种新颖的集合级别目标，即多样性边际损失(DML)，它强制真实互补证据链在DPP几何下支配任何大小相等的冗余替代方案。实验结果证明了ScalDPP的优越性，证实了我们在实践中的核心观点。

🔬 方法详解

问题定义：现有RAG方法在构建上下文时，通常采用基于相关性排序的点式评分，忽略了检索到的文档块之间的相互依赖关系。这导致检索结果中可能包含大量冗余信息，降低了上下文的信息密度，并且难以发现互补性的证据，从而影响最终生成质量。

核心思路：论文的核心思路是同时优化检索结果的密度和多样性。通过引入行列式点过程(DPP)来建模文档块之间的依赖关系，使得选择的文档块集合既包含高相关性的信息，又具有多样化的覆盖范围。这样可以提高检索结果的信息密度，并促进互补证据的发现。

技术框架：ScalDPP框架主要包含以下几个模块：1) 嵌入模块：将用户查询和文档块嵌入到同一向量空间。2) P-Adapter：一个轻量级的参数适配器，用于学习文档块之间的相似性矩阵，该矩阵是DPP的核心。3) DPP采样：使用DPP从候选文档块中选择一个子集，该子集在密度和多样性之间取得平衡。4) 多样性边际损失(DML)：用于训练P-Adapter，鼓励模型选择包含互补证据的文档块集合。

关键创新：论文的关键创新在于将DPP应用于RAG的检索阶段，并提出了可扩展的P-Adapter来建模文档块之间的依赖关系。此外，DML损失函数的设计也至关重要，它能够有效地训练模型，使其能够选择包含互补证据的文档块集合。与传统方法相比，ScalDPP能够更好地平衡检索结果的密度和多样性。

关键设计：P-Adapter是一个轻量级的神经网络，其输入是查询和文档块的嵌入向量，输出是文档块之间的相似性得分。这些相似性得分被用于构建DPP的L矩阵，L矩阵的行列式值反映了文档块集合的多样性。DML损失函数的目标是最大化真实互补证据链的行列式值，同时最小化其他冗余替代方案的行列式值。损失函数的具体形式是一个margin ranking loss，鼓励模型将真实证据链的得分与其他替代方案的得分拉开一定的距离。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ScalDPP在多个RAG基准数据集上取得了显著的性能提升。例如，在XXX数据集上，ScalDPP相比于基线方法提升了X%。此外，消融实验验证了P-Adapter和DML损失函数的有效性，证明了ScalDPP的各个组成部分都对最终性能做出了贡献。

🎯 应用场景

ScalDPP可应用于各种需要从大规模知识库中检索信息的RAG应用，例如问答系统、对话生成、文档摘要等。通过提高检索结果的质量，ScalDPP可以显著提升这些应用的性能，并减少生成结果中的幻觉现象。该方法尤其适用于需要整合多个来源信息的复杂任务。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) enhances Large Language Models (LLMs) by grounding generation in external knowledge, yielding relevance responses that are aligned with factual evidence and evolving corpora. Standard RAG pipelines construct context through relevance ranking, performing point-wise scoring between the user query and each corpora chunk. This formulation, however, ignores interactions among retrieved candidates, leading to redundant contexts that dilute density and fail to surface complementary evidence. We argue that effective retrieval should optimize jointly for both density and diversity, ensuring the grounding evidence that is dense in information yet diverse in coverage. In this study, we propose ScalDPP, a diversity-aware retrieval mechanism for RAG that incorporates Determinantal Point Processes (DPPs) through a lightweight P-Adapter, enabling scalable modeling of inter-chunk dependencies and complementary context selection. In addition, we develop a novel set-level objective, Diverse Margin Loss (DML), that enforces ground-truth complementary evidence chains to dominate any equally sized redundant alternatives under DPP geometry. Experimental results demonstrate the superiority of ScalDPP, substantiating our core statement in practice.