Agentic AutoRAG: RAG Pipeline Optimization through Reasoning-Driven Agents

📄 arXiv: 2610.08452v1 📥 PDF

作者: Lasse B. Strand, Robert Jakob, Kevin O'Sullivan, Markus Kreft

分类: cs.CL, cs.IR, cs.LG

发布日期: 2026-10-06

备注: Accepted at the Second Workshop for REsearch on Agent Language Models (REALM) at EMNLP 2026 and at the Machine Learning for Systems Workshop at NeurIPS 2026. 9 pages plus references and appendix (16 pages total), 4 figures, 6 tables. Code: https://github.com/Agentic-Systems-Lab/Agentic-AutoRAG

💡 一句话要点

提出Agentic AutoRAG以优化RAG管道配置问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 检索增强生成 超参数优化 多目标优化 问答系统 医疗信息检索

📋 核心要点

  1. 现有的RAG管道配置方法在超参数优化过程中缺乏对配置性能原因的建模，导致效率低下。
  2. Agentic AutoRAG通过引入诊断器和提议者模块，利用检索与生成的失败归因来优化超参数配置。
  3. 在多跳问答基准测试中，Agentic AutoRAG的准确率超过所有基线，并在成本效益上表现优异。

📝 摘要（中文）

检索增强生成（RAG）是一种广泛应用于将大型语言模型（LLMs）与外部知识结合的方法。然而，配置管道的过程涉及复杂的超参数优化，现有优化方法未能有效建模配置性能的原因。本文提出了Agentic AutoRAG，这是一种基于LLM的多目标RAG超参数优化器，通过检索与生成的失败归因来优化配置。该方法在三个多跳问答基准上表现优于所有对比基线，并在真实医疗语料库上以约58%的成本实现了77%的中位考试准确率，超越了最强基线的71.5%。

🔬 方法详解

问题定义：本文旨在解决RAG管道配置中的超参数优化问题，现有方法未能有效解释配置性能的原因，导致优化效率低下。

核心思路：Agentic AutoRAG通过引入诊断器和提议者模块，利用检索与生成的失败归因来优化超参数配置，从而提高整体性能和效率。

技术框架：该方法包括两个主要模块：诊断器用于归因失败原因，提议者基于知识库选择下一配置，权衡准确性与成本，形成Pareto前沿。

关键创新：最重要的创新在于引入了基于失败归因的优化机制，使得每次试验不仅仅是评分，而是深入分析配置的表现原因。

关键设计：在参数设置上，提议者模块基于模型排名和定价知识库进行配置选择，确保在准确性和成本之间找到最佳平衡。实验中使用的损失函数和网络结构均经过精心设计，以支持多目标优化。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，Agentic AutoRAG在三个多跳问答基准上达到了比所有基线更高的准确率，并在前10次试验中匹配或超越了统计基线的30次试验的准确率。在真实医疗语料库中，其77%的中位考试准确率显著高于最强基线的71.5%，且成本仅为基线的58%。

🎯 应用场景

该研究的潜在应用领域包括智能问答系统、医疗信息检索和其他需要高效知识检索与生成的场景。通过优化RAG管道配置，能够显著提升系统的响应准确性和成本效益，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Retrieval-augmented generation (RAG) is a widely used approach for grounding large language models (LLMs) in external knowledge. However, configuring a pipeline is an expensive hyperparameter optimization problem over many interacting choices, from chunking and embedding model to reranking and generation. Existing optimizers, from greedy search to Bayesian optimization, reduce each trial to an aggregate score and search without modeling why a configuration performed as it did, even though the retrieved chunks already provide evidence about whether each failure occurred during retrieval or after it. We introduce Agentic AutoRAG, an LLM-agent optimizer for multi-objective RAG hyperparameter optimization with retrieval-versus-generation failure attribution. It proposes configurations scored on a frozen exam from the corpus: after each trial a Diagnoser attributes each failed question to retrieval or generation, and a Proposer, grounded in a knowledge base of model rankings and pricing, selects the next configuration, weighing accuracy against cost to trace a Pareto frontier. On three multi-hop QA benchmarks it reaches higher LLM-judge accuracy than every baseline we compare, and within its first 10 trials it matches or beats the statistical baselines' full 30-trial judge accuracy. In its cost-aware mode on a real-world healthcare corpus it reaches a median exam accuracy of 77%, above the strongest baseline's 71.5%, at about 58% of that baseline's cost per query, and it matches that 71.5% at about 22% of the cost.