Retrieval Augmented Generation Compositionality

📄 arXiv: 2610.29722v1 📥 PDF

作者: Ido Levy, Segev Shlomov, Leshem Choshen

分类: cs.CL, cs.AI

发布日期: 2026-10-21

备注: 103 pages (9 main), 15 figures, 68 tables. Project page: https://dolev31.github.io/lasagna/ Code: https://github.com/dolev31/lasagna

💡 一句话要点

提出LASAGNA框架以优化检索增强生成模型的评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 RAG 评估框架 技术组合 自然语言处理 信息检索 模型优化

📋 核心要点

  1. 现有的RAG方法在评估时通常只考虑单一技术，缺乏对组合效果的系统性研究。
  2. 本文提出LASAGNA框架，通过测试多种配置，探索不同技术组合在RAG中的表现。
  3. 实验结果显示，单独有效的技术组合在一起时增益不如预期，且最佳组合随语料库规模变化而变化。

📝 摘要（中文）

检索增强生成（RAG）将大型语言模型与外部知识结合。尽管现代管道结合了嵌入、检索、重排序等多种技术，但这些技术通常是单独评估的。本文提出LASAGNA，一个开源框架，用于控制RAG评估，测试了450种配置，发现单独强大的技术组合并不一定有效，且优化检索质量与答案可信度可能相互影响。随着语料库规模的变化，最佳组合也会改变。这些发现表明，孤立测量的增益并不能可靠预测实际性能，呼吁研究者在完整的环境中测试新技术。

🔬 方法详解

问题定义：本文旨在解决现有RAG方法在评估时缺乏系统性的问题，特别是不同技术组合的效果未被充分研究。现有方法往往只关注单一技术的增益，导致对整体性能的预测不准确。

核心思路：论文提出LASAGNA框架，通过系统测试不同技术组合的效果，探索它们在RAG管道中的相互作用。这样设计的目的是为了揭示单独增益与组合增益之间的关系，确保评估的全面性。

技术框架：LASAGNA框架包含多个模块，包括嵌入、检索、重排序、查询增强、上下文压缩和代理验证等。通过对450种配置的测试，评估这些模块在不同语料库上的表现。

关键创新：最重要的创新在于揭示了单独有效的技术在组合时可能无法实现预期的增益，且优化检索质量与答案可信度之间存在权衡。这一发现挑战了传统的评估方法。

关键设计：在实验中，采用了多种参数设置和损失函数，确保每个模块的性能最大化。特别关注了检索技术的选择和组合方式，以便在不同规模的语料库中进行有效评估。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，三种检索技术的组合预测增益为47%，但实际组合增益仅为17%。此外，检索质量与答案可信度的优化存在相互影响，最佳组合在小规模语料库与大规模语料库中有所不同，这一发现为RAG技术的研究提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和智能问答系统。通过优化RAG模型的评估方法，能够提升模型在实际应用中的表现，增强其对外部知识的利用效率，进而推动相关技术的进步与应用。

📄 摘要（原文）

Retrieval Augmented Generation (RAG) grounds large language models in external knowledge. Modern pipelines combine embedding, chunking, retrieval, reranking, query augmentation, context compression, and agentic verification, yet these techniques are typically evaluated one at a time. It remains unclear whether their isolated gains survive composition, whether retrieval quality and answer faithfulness favor the same design choices, and whether conclusions from small corpora hold at large scale. We pre-declare three hypotheses and introduce LASAGNA, an open-source framework for controlled RAG evaluation. We test 450 configurations across eight benchmarks and corpora ranging from 5K to 200K documents. Three findings emerge. First, individually strong techniques from different phases of a RAG pipeline do not necessarily compose: three retrieval techniques predict a +47% combined improvement but deliver only +17% when used together. Second, component gains stack differently for retrieval and faithfulness, and optimizing one can hurt the other. Third, the best composition changes as the corpus grows: the combination that wins on a small corpus may not remain best at large scale. These findings show that gains measured in isolation are not reliable predictors of realistic performance, and that new RAG techniques should be tested with the full surrounding stack. We call on researchers to do so and supply LASAGNA to simplify these experiments.