AutoRAG-HP: Automatic Online Hyper-Parameter Tuning for Retrieval-Augmented Generation
作者: Jia Fu, Xiaoting Qin, Fangkai Yang, Lu Wang, Jue Zhang, Qingwei Lin, Yubo Chen, Dongmei Zhang, Saravan Rajmohan, Qi Zhang
分类: cs.CL, cs.AI
发布日期: 2024-06-27
💡 一句话要点
提出AutoRAG-HP以解决RAG系统的超参数优化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 超参数优化 检索增强生成 在线学习 多臂老虎机 层次结构 自然语言处理 机器学习
📋 核心要点
- 现有的超参数优化方法在RAG系统中面临在线适应性不足和搜索空间探索效率低的问题。
- 本文提出的AutoRAG-HP框架将超参数调优转化为在线多臂老虎机问题，利用层次多臂老虎机方法进行高效探索。
- 实验结果显示，MAB方法在特定场景下显著提高了召回率，并减少了API调用次数，表现优于传统的网格搜索方法。
📝 摘要（中文）
近年来，大型语言模型的进展改变了机器学习和人工智能的发展，促使我们重新评估自动机器学习（AutoML）原则在检索增强生成（RAG）系统中的应用。为了解决RAG中的超参数优化和在线适应的挑战，本文提出了AutoRAG-HP框架，将超参数调优视为在线多臂老虎机（MAB）问题，并引入了一种新颖的两级层次多臂老虎机（Hier-MAB）方法，以高效探索大搜索空间。通过在ALCE-ASQA和Natural Questions数据集上进行广泛实验，我们的评估表明，基于MAB的在线学习方法在搜索空间中具有显著梯度的场景下，能够实现Recall@5约0.8，仅使用约20%的LLM API调用，相较于网格搜索方法。此外，Hier-MAB方法在更具挑战性的优化场景中优于其他基线。
🔬 方法详解
问题定义：本文旨在解决检索增强生成（RAG）系统中的超参数优化问题，现有方法在在线适应性和搜索空间探索效率方面存在不足，导致性能提升受限。
核心思路：论文的核心思路是将超参数调优视为在线多臂老虎机（MAB）问题，通过引入层次多臂老虎机（Hier-MAB）方法，能够在大搜索空间中进行高效探索，从而实现更优的超参数配置。
技术框架：AutoRAG-HP框架主要包括两个阶段：首先，将超参数调优转化为MAB问题；其次，利用Hier-MAB方法进行高效的在线学习和探索。该框架能够动态适应不同的超参数设置，优化检索和生成过程。
关键创新：最重要的技术创新点在于提出了层次多臂老虎机（Hier-MAB）方法，该方法通过分层结构有效地探索超参数空间，显著提高了优化效率，与传统的网格搜索方法相比具有本质区别。
关键设计：在参数设置上，本文调优了多个超参数，包括检索文档的top-k数量、提示压缩比和嵌入方法等，采用了适应性损失函数以提高模型的学习效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，基于MAB的在线学习方法在具有显著梯度的搜索空间中实现了Recall@5约0.8，且仅使用了约20%的LLM API调用，相较于传统的网格搜索方法，表现出显著的性能提升。此外，Hier-MAB方法在更具挑战性的优化场景中超越了其他基线，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、信息检索和智能问答系统等。通过优化RAG系统的超参数，能够显著提升模型的性能和响应速度，具有重要的实际价值和广泛的应用前景，未来可能推动更多智能应用的发展。
📄 摘要（原文）
Recent advancements in Large Language Models have transformed ML/AI development, necessitating a reevaluation of AutoML principles for the Retrieval-Augmented Generation (RAG) systems. To address the challenges of hyper-parameter optimization and online adaptation in RAG, we propose the AutoRAG-HP framework, which formulates the hyper-parameter tuning as an online multi-armed bandit (MAB) problem and introduces a novel two-level Hierarchical MAB (Hier-MAB) method for efficient exploration of large search spaces. We conduct extensive experiments on tuning hyper-parameters, such as top-k retrieved documents, prompt compression ratio, and embedding methods, using the ALCE-ASQA and Natural Questions datasets. Our evaluation from jointly optimization all three hyper-parameters demonstrate that MAB-based online learning methods can achieve Recall@5 $\approx 0.8$ for scenarios with prominent gradients in search space, using only $\sim20\%$ of the LLM API calls required by the Grid Search approach. Additionally, the proposed Hier-MAB approach outperforms other baselines in more challenging optimization scenarios. The code will be made available at https://aka.ms/autorag.