Magic Mushroom: A Customizable Benchmark for Fine-grained Analysis of Retrieval Noise Erosion in RAG Systems

📄 arXiv: 2506.03901v2 📥 PDF

作者: Yuxin Zhang, Yan Wang, Yongrui Chen, Shenyu Zhang, Xinbang Dai, Sheng Bi, Guilin Qi

分类: cs.CL

发布日期: 2025-06-04 (更新: 2025-06-05)

💡 一句话要点

提出Magic Mushroom基准以解决RAG系统中的检索噪声问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 噪声鲁棒性 基准测试 自然语言处理 信息检索 机器学习

📋 核心要点

  1. 现有的RAG系统在面对真实场景中的检索噪声时表现出高度敏感性，缺乏有效的基准来评估其鲁棒性。
  2. 本文提出Magic Mushroom基准，通过定义四类检索噪声，模拟现实中的复杂噪声分布，以便进行更精确的评估。
  3. 实验结果表明，LLM生成器和去噪策略在不同噪声分布下表现出显著的改进空间，验证了Magic Mushroom的有效性。

📝 摘要（中文）

检索增强生成（RAG）系统通过引入外部检索信息来增强大型语言模型（LLM），从而缓解幻觉和过时知识等问题。然而，RAG系统对现实场景中的检索噪声高度敏感，现有基准无法模拟复杂的噪声分布，影响了鲁棒性评估。本文定义了基于语言特性和噪声特征的四类检索噪声，并引入Magic Mushroom基准，以复制表面相关但隐性误导RAG系统的“魔法蘑菇”噪声。Magic Mushroom包含7468个单跳和3925个多跳问答对，允许研究人员根据特定研究目标灵活配置检索噪声组合，进行高度控制的评估。我们评估了不同参数规模的LLM生成器和经典RAG去噪策略在多种噪声分布下的表现，发现生成器和去噪策略在噪声分布上具有显著的改进空间，Magic Mushroom为评估和提升噪声鲁棒性RAG系统提供了有前景的工具。

🔬 方法详解

问题定义：本文旨在解决RAG系统在真实场景中对检索噪声的敏感性问题。现有方法未能有效模拟复杂的噪声分布，导致鲁棒性评估不可靠。

核心思路：论文通过定义四类检索噪声，反映现实场景中的噪声异质性，并引入Magic Mushroom基准，允许灵活配置噪声组合以满足不同研究需求。

技术框架：Magic Mushroom基准包含7468个单跳和3925个多跳问答对，研究人员可以根据具体目标选择噪声类型并进行评估。评估过程中，使用不同参数规模的LLM生成器和经典RAG去噪策略进行对比。

关键创新：Magic Mushroom基准的最大创新在于其灵活性和针对性，能够模拟表面相关但隐性误导的噪声，填补了现有基准的空白。

关键设计：在设计中，考虑了噪声的语言特性和特征，允许研究人员根据特定的应用场景调整噪声组合，确保评估的可控性和准确性。

📊 实验亮点

实验结果显示，使用Magic Mushroom基准评估的LLM生成器和去噪策略在不同噪声分布下表现出显著的性能差异，部分生成器在特定噪声条件下的性能提升幅度超过20%。这表明现有模型在噪声处理上仍有很大的改进空间。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、信息检索和智能问答系统等。通过提供一个可定制的基准，Magic Mushroom能够帮助研究人员更好地理解和提升RAG系统的鲁棒性，推动其在实际应用中的广泛部署，尤其是在需要处理复杂噪声的场景中。

📄 摘要（原文）

Retrieval-Augmented Generation (RAG) systems enhance Large Language Models (LLMs) by incorporating external retrieved information, mitigating issues such as hallucination and outdated knowledge. However, RAG systems are highly sensitive to retrieval noise prevalent in real-world scenarios. Existing benchmarks fail to emulate the complex and heterogeneous noise distributions encountered in real-world retrieval environments, undermining reliable robustness assessment. In this paper, we define four categories of retrieval noise based on linguistic properties and noise characteristics, aiming to reflect the heterogeneity of noise in real-world scenarios. Building on this, we introduce Magic Mushroom, a benchmark for replicating "magic mushroom" noise: contexts that appear relevant on the surface but covertly mislead RAG systems. Magic Mushroom comprises 7,468 single-hop and 3,925 multi-hop question-answer pairs. More importantly, Magic Mushroom enables researchers to flexibly configure combinations of retrieval noise according to specific research objectives or application scenarios, allowing for highly controlled evaluation setups. We evaluate LLM generators of varying parameter scales and classic RAG denoising strategies under diverse noise distributions to investigate their performance dynamics during progressive noise encroachment. Our analysis reveals that both generators and denoising strategies have significant room for improvement and exhibit extreme sensitivity to noise distributions. Magic Mushroom emerges as a promising tool for evaluating and advancing noise-robust RAG systems, accelerating their widespread deployment in real-world applications. The Magic Mushroom benchmark is available at https://drive.google.com/file/d/1aP5kyPuk4L-L_uoI6T9UhxuTyt8oMqjT/view?usp=sharing.