On Speeding Up Language Model Evaluation

📄 arXiv: 2407.06172v3 📥 PDF

作者: Jin Peng Zhou, Christian K. Belardi, Ruihan Wu, Travis Zhang, Carla P. Gomes, Wen Sun, Kilian Q. Weinberger

分类: cs.AI, cs.CL

发布日期: 2024-07-08 (更新: 2025-02-26)

备注: ICLR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种自适应方法，加速大语言模型提示工程中的超参数组合搜索，节省85-95%的LLM评估成本。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 提示工程 超参数优化 多臂老虎机 低秩矩阵分解

📋 核心要点

  1. 大语言模型提示工程涉及大量超参数选择，导致组合爆炸，评估成本高昂。
  2. 利用多臂老虎机自适应选择评估样本，并使用低秩矩阵分解补全缺失评估值，加速搜索过程。
  3. 实验表明，该方法仅需5-15%的资源即可找到最优方法，节省85-95%的LLM评估成本。

📝 摘要（中文）

在使用大语言模型（LLM）开发基于提示的方法时，需要进行大量的决策，这导致了超参数上的组合搜索问题。这种详尽的评估可能非常耗时且成本高昂。本文提出了一种$ extit{自适应}$方法来探索这个空间。我们利用了这样一个事实：通常只需要少量样本就可以识别出明显优越或劣等的设置，并且许多评估测试是高度相关的。我们依靠多臂老虎机来顺序识别下一个要评估的（方法，验证样本）对，并利用低秩矩阵分解来填补缺失的评估。我们在几个有竞争力的基准问题上仔细评估了我们方法的有效性，并表明它可以使用仅占典型资源5-15%的资源来识别表现最佳的方法——从而节省85-95%的LLM成本。我们的代码可在https://github.com/kilian-group/banditeval 获得。

🔬 方法详解

问题定义：论文旨在解决大语言模型（LLM）提示工程中，由于超参数组合爆炸导致的评估成本过高的问题。现有方法通常采用穷举搜索或随机搜索，效率低下，浪费大量计算资源和时间。这些方法没有充分利用评估结果之间的相关性，以及早期评估对后续选择的指导作用。

核心思路：论文的核心思路是采用自适应采样策略，即根据已有的评估结果，动态地选择下一个要评估的（方法，验证样本）对。通过多臂老虎机（Multi-Armed Bandit, MAB）算法来平衡探索（exploration）和利用（exploitation），优先选择有潜力的方法和信息量大的样本进行评估。同时，利用低秩矩阵分解来预测未评估的（方法，验证样本）对的性能，从而减少实际评估的次数。

技术框架：整体框架包含以下几个主要模块：1) 多臂老虎机（MAB）选择器：根据已有的评估结果，选择下一个要评估的（方法，验证样本）对。2) 评估模块：使用选定的（方法，验证样本）对在LLM上进行评估，得到评估结果。3) 低秩矩阵分解模块：利用已有的评估结果，对未评估的（方法，验证样本）对的性能进行预测。4) 更新模块：根据新的评估结果，更新MAB选择器的参数和低秩矩阵分解模型。整个流程迭代进行，直到达到预设的评估次数或找到最优方法。

关键创新：论文的关键创新在于将多臂老虎机和低秩矩阵分解相结合，用于加速LLM提示工程中的超参数搜索。与传统的穷举搜索或随机搜索相比，该方法能够自适应地选择评估样本，并利用评估结果之间的相关性，从而显著减少评估次数，降低成本。此外，该方法还能够处理缺失的评估值，提高了评估的效率和鲁棒性。

关键设计：在MAB选择器中，可以使用不同的MAB算法，如UCB（Upper Confidence Bound）或Thompson Sampling。在低秩矩阵分解中，可以使用不同的矩阵分解方法，如奇异值分解（SVD）或非负矩阵分解（NMF）。论文中可能还涉及到一些超参数的设置，如MAB算法的探索率、低秩矩阵分解的秩等。损失函数的设计可能涉及到评估结果的预测误差和MAB算法的奖励函数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个基准测试问题上，仅使用5-15%的典型资源即可识别出表现最佳的方法，从而节省85-95%的LLM评估成本。与传统的随机搜索方法相比，该方法能够显著提高搜索效率，降低成本。

🎯 应用场景

该研究成果可广泛应用于大语言模型的提示工程、超参数优化、模型选择等领域。通过降低LLM评估成本，可以加速LLM应用的开发和部署，促进LLM技术在各个行业的应用。此外，该方法也可以推广到其他需要进行大量实验评估的机器学习任务中。

📄 摘要（原文）

Developing prompt-based methods with Large Language Models (LLMs) requires making numerous decisions, which give rise to a combinatorial search problem over hyper-parameters. This exhaustive evaluation can be time-consuming and costly. In this paper, we propose an $\textit{adaptive}$ approach to explore this space. We are exploiting the fact that often only few samples are needed to identify clearly superior or inferior settings, and that many evaluation tests are highly correlated. We lean on multi-armed bandits to sequentially identify the next (method, validation sample)-pair to evaluate and utilize low-rank matrix factorization to fill in missing evaluations. We carefully assess the efficacy of our approach on several competitive benchmark problems and show that it can identify the top-performing method using only 5-15% of the typical resources -- resulting in 85-95% LLM cost savings. Our code is available at https://github.com/kilian-group/banditeval.