Faster, Cheaper, Better: Multi-Objective Hyperparameter Optimization for LLM and RAG Systems
作者: Matthew Barker, Andrew Bell, Evan Thomas, James Carr, Thomas Andrews, Umang Bhatt
分类: cs.LG, cs.AI, cs.CL
发布日期: 2025-02-25 (更新: 2025-05-08)
💡 一句话要点
提出基于贝叶斯优化的多目标超参数优化方法，提升LLM和RAG系统性能。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: RAG系统 大型语言模型 超参数优化 贝叶斯优化 多目标优化 Pareto前沿 检索增强生成
📋 核心要点
- RAG系统涉及众多参数和超参数，手动调整成本高昂且效果不佳，难以在多个目标（如成本、延迟、安全性）之间取得平衡。
- 提出基于贝叶斯优化的多目标超参数优化方法，自动搜索最优配置，在成本、延迟、安全性和对齐性之间找到最佳平衡。
- 实验表明，该方法在RAG基准测试中显著优于传统方法，能够获得更好的Pareto前沿，实现性能的全面提升。
📝 摘要（中文）
检索增强生成(RAG)已成为改进大型语言模型(LLM)系统的常用技术，但它引入了大量的选择、参数和超参数，需要进行调整。这包括LLM、嵌入和排序模型本身，以及控制各个RAG组件的超参数。然而，由于难以处理的大型解空间、有噪声的目标评估以及高昂的评估成本，对RAG或LLM系统中整个配置的集体优化仍然未被充分探索，尤其是在多目标设置中。本文提出了一种针对整个LLM和RAG系统的成本、延迟、安全性和对齐等多目标参数优化方法。研究发现，贝叶斯优化方法明显优于基线方法，在两个新的RAG基准任务上获得了更好的Pareto前沿。最后，总结了从业者在设计多目标RAG系统时需要考虑的重要事项，强调了诸如最佳配置可能无法跨任务和目标推广等细微之处。
🔬 方法详解
问题定义：现有RAG系统涉及大量的模型选择和超参数调整，例如LLM的选择、嵌入模型、排序模型以及RAG组件的超参数。手动调整这些参数非常耗时，且难以在多个目标（如成本、延迟、安全性和对齐性）之间找到最佳平衡。现有的优化方法难以处理高维参数空间、噪声目标评估和高昂的评估成本，尤其是在多目标优化场景下。
核心思路：本文的核心思路是利用贝叶斯优化方法，自动搜索RAG系统的最优配置。贝叶斯优化能够有效地处理高维、非凸和噪声优化问题，通过建立目标函数的概率模型，并利用采集函数来指导搜索过程，从而在有限的评估次数内找到最优解。针对多目标优化问题，采用多目标贝叶斯优化算法，生成Pareto前沿，为用户提供多种折衷方案。
技术框架：该方法主要包含以下几个模块：1) 参数空间定义：定义RAG系统的参数空间，包括模型选择（如LLM、嵌入模型、排序模型）和超参数范围。2) 目标函数定义：定义需要优化的目标函数，如成本、延迟、安全性和对齐性。这些目标函数通常需要通过实际评估RAG系统的性能来获得。3) 贝叶斯优化：使用贝叶斯优化算法，根据已有的评估结果，建立目标函数的概率模型，并利用采集函数来选择下一个需要评估的参数配置。4) 评估与更新：评估选定的参数配置，获得目标函数的值，并更新贝叶斯优化模型。5) Pareto前沿生成：在优化过程中，维护一个Pareto前沿，包含所有非支配解，为用户提供多种折衷方案。
关键创新：该方法的主要创新在于：1) 首次将贝叶斯优化应用于整个LLM和RAG系统的多目标参数优化。2) 提出了针对RAG系统的多目标优化框架，能够同时优化成本、延迟、安全性和对齐性。3) 在两个新的RAG基准任务上验证了该方法的有效性，证明其能够显著优于传统方法。
关键设计：在贝叶斯优化中，使用了高斯过程作为目标函数的概率模型，并采用了Expected Hypervolume Improvement (EHVI) 作为采集函数，用于指导搜索过程。针对不同的目标函数，采用了不同的评估方法。例如，成本可以通过统计API调用次数来估计，延迟可以通过测量响应时间来获得，安全性和对齐性可以通过人工评估或自动评估指标来衡量。在实验中，对比了多种贝叶斯优化算法和基线方法，并分析了不同参数配置对RAG系统性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于贝叶斯优化的方法在两个新的RAG基准任务上显著优于基线方法，能够获得更好的Pareto前沿。具体来说，该方法能够在保证安全性和对齐性的前提下，显著降低RAG系统的成本和延迟。此外，研究还发现，最优配置可能无法跨任务和目标推广，需要针对不同的应用场景进行定制化优化。
🎯 应用场景
该研究成果可广泛应用于各种需要优化LLM和RAG系统的场景，例如智能客服、知识库问答、文档检索等。通过自动优化RAG系统的参数配置，可以显著提升系统的性能、降低成本、提高安全性和对齐性，从而为用户提供更好的体验。该方法还可以应用于其他类型的AI系统，具有广泛的应用前景。
📄 摘要（原文）
While Retrieval Augmented Generation (RAG) has emerged as a popular technique for improving Large Language Model (LLM) systems, it introduces a large number of choices, parameters and hyperparameters that must be made or tuned. This includes the LLM, embedding, and ranker models themselves, as well as hyperparameters governing individual RAG components. Yet, collectively optimizing the entire configuration in a RAG or LLM system remains under-explored - especially in multi-objective settings - due to intractably large solution spaces, noisy objective evaluations, and the high cost of evaluations. In this work, we introduce the first approach for multi-objective parameter optimization of cost, latency, safety and alignment over entire LLM and RAG systems. We find that Bayesian optimization methods significantly outperform baseline approaches, obtaining a superior Pareto front on two new RAG benchmark tasks. We conclude our work with important considerations for practitioners who are designing multi-objective RAG systems, highlighting nuances such as how optimal configurations may not generalize across tasks and objectives.