MTRAG-UN: A Benchmark for Open Challenges in Multi-Turn RAG Conversations

📄 arXiv: 2602.23184 📥 PDF

作者: Sara Rosenthal, Yannis Katsis, Vraj Shah, Lihong He, Lucian Popa, Marina Danilevsky

分类: cs.CL

发布日期: 2026-02-28

💡 一句话要点

MTRAG-UN：用于多轮RAG对话开放挑战的基准数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多轮对话 检索增强生成 RAG 基准数据集 开放挑战

📋 核心要点

  1. 现有RAG模型在处理复杂多轮对话，特别是包含无法回答、信息不全或上下文依赖的问题时表现不佳。
  2. 论文构建了MTRAG-UN基准数据集，旨在促进对多轮RAG对话中开放性问题的研究和解决。
  3. 实验结果表明，即使在MTRAG-UN数据集上，现有RAG模型在处理上述复杂对话时仍然面临显著挑战。

📝 摘要（中文）

本文提出了MTRAG-UN，一个用于探索多轮检索增强生成（RAG）中开放挑战的基准数据集，RAG是大语言模型的一种流行应用方式。该基准包含666个任务，涵盖6个领域，包含超过2800轮对话，并附带相应的语料库。实验表明，检索和生成模型在处理包含UN可回答、UN欠指定、NON独立的提问以及UN清晰回复的对话时仍然面临挑战。该基准数据集已公开。

🔬 方法详解

问题定义：论文旨在解决多轮对话场景下，检索增强生成（RAG）模型在处理复杂问题时遇到的困难。现有RAG模型在面对无法回答（UNanswerable）、信息不完整（UNderspecified）、非独立（NONstandalone）的问题以及不清晰的回复（UNclear responses）时，性能显著下降。这些问题对RAG模型的检索和生成能力提出了更高的要求。

核心思路：论文的核心思路是通过构建一个高质量、多样化的基准数据集MTRAG-UN，来系统地评估和诊断现有RAG模型在处理复杂多轮对话时的不足。该数据集涵盖了多种类型的复杂问题，旨在激发研究人员开发更鲁棒、更智能的RAG模型。

技术框架：MTRAG-UN数据集的构建涉及多个步骤，包括：(1) 收集来自不同领域的对话数据；(2) 对话轮次进行标注，区分不同类型的复杂问题；(3) 构建与对话相关的语料库，用于检索增强；(4) 设计评估指标，用于衡量RAG模型的性能。整体流程旨在创建一个全面、可复现的评估平台。

关键创新：MTRAG-UN的关键创新在于其对多轮RAG对话中复杂问题的系统性建模和标注。与以往的基准数据集相比，MTRAG-UN更加关注RAG模型在处理真实对话场景中遇到的各种挑战，例如信息缺失、上下文依赖等。这种细粒度的标注有助于研究人员更深入地理解RAG模型的局限性，并开发更有针对性的解决方案。

关键设计：MTRAG-UN数据集包含6个领域，共666个任务，超过2800轮对话。数据集中的问题被标注为UNanswerable、UNderspecified、NONstandalone或UNclear responses，以便于评估模型在不同类型问题上的表现。此外，数据集还提供了相应的语料库，用于支持检索增强。具体的参数设置、损失函数和网络结构等技术细节取决于研究人员使用的RAG模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的检索和生成模型在MTRAG-UN数据集上表现不佳，尤其是在处理UNanswerable、UNderspecified、NONstandalone问题和UNclear responses时。这突显了现有RAG模型在处理复杂多轮对话方面的局限性，并为未来的研究方向提供了指导。

🎯 应用场景

该研究成果可应用于智能客服、聊天机器人、问答系统等领域，提升多轮对话场景下RAG模型的性能和用户体验。通过解决RAG模型在处理复杂问题时的挑战，可以构建更智能、更可靠的对话系统，从而更好地服务于用户。

📄 摘要（原文）

We present MTRAG-UN, a benchmark for exploring open challenges in multi-turn retrieval augmented generation, a popular use of large language models. We release a benchmark of 666 tasks containing over 2,800 conversation turns across 6 domains with accompanying corpora. Our experiments show that retrieval and generation models continue to struggle on conversations with UNanswerable, UNderspecified, and NONstandalone questions and UNclear responses. Our benchmark is available atthis https URL