Multi-Objective Hyperparameter Selection via Hypothesis Testing on Reliability Graphs

📄 arXiv: 2501.13018v2 📥 PDF

作者: Amirmohammad Farzaneh, Osvaldo Simeone

分类: cs.LG, cs.IT

发布日期: 2025-01-22 (更新: 2025-05-15)

💡 一句话要点

提出基于可靠性图的Pareto测试方法RG-PT，用于多目标超参数选择，兼顾可靠性和成本。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超参数选择 多目标优化 可靠性图 Pareto测试 假发现率控制 大型语言模型 Bradley-Terry模型

📋 核心要点

  1. 现有超参数选择方法缺乏形式化的可靠性保证，且无法有效利用超参数空间中的结构化知识。
  2. RG-PT利用可靠性图来编码超参数间的关系，并结合Bradley-Terry模型进行排序，从而指导超参数选择。
  3. 实验表明，RG-PT在超参数选择效率上显著优于现有方法，实现了更好的性能和更快的探索速度。

📝 摘要（中文）

本文提出了一种基于可靠性图的Pareto测试(RG-PT)多目标超参数选择框架，用于在大型语言模型(LLM)等场景中，平衡超参数（如prompt模板）的可靠性和成本。该方法在假发现率(FDR)方面保持了形式化的可靠性保证，同时通过有向无环图考虑了超参数之间的已知关系。图中边反映了超参数之间预期的可靠性和成本权衡，这些权衡是通过Bradley-Terry (BT)排序模型从先验信息和留存数据中推断出来的。实验结果表明，RG-PT通过更有效地探索超参数空间，显著优于现有的方法，如learn-then-test (LTT)和Pareto testing (PT)。

🔬 方法详解

问题定义：论文旨在解决多目标超参数选择问题，特别是在可靠性和成本之间进行权衡。现有方法要么缺乏形式化的可靠性保证，要么无法有效利用超参数空间中已知的结构化关系，导致超参数选择效率低下，难以找到最优解。

核心思路：论文的核心思路是利用可靠性图来表示超参数之间的关系，图中节点代表超参数，边代表超参数之间的可靠性和成本权衡关系。通过在图上进行Pareto测试，可以有效地探索超参数空间，并在保证可靠性的前提下，选择最优的超参数组合。

技术框架：RG-PT框架主要包含以下几个阶段：1) 构建可靠性图：根据先验知识和留存数据，利用Bradley-Terry模型推断超参数之间的关系，构建有向无环图。2) Pareto测试：在可靠性图上进行Pareto测试，筛选出Pareto最优的超参数集合。3) 假发现率控制：通过控制假发现率(FDR)，保证超参数选择的可靠性。

关键创新：RG-PT的关键创新在于将可靠性图与Pareto测试相结合，从而在多目标超参数选择中实现了形式化的可靠性保证，并能够有效利用超参数空间中的结构化知识。与现有方法相比，RG-PT能够更有效地探索超参数空间，找到更优的超参数组合。

关键设计：Bradley-Terry模型用于从先验信息和留存数据中推断超参数之间的关系，其输出作为可靠性图的边权重。Pareto测试采用基于假设检验的方法，通过比较不同超参数的性能，筛选出Pareto最优的超参数集合。假发现率控制采用Benjamini-Hochberg procedure等方法，保证超参数选择的可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RG-PT在超参数选择效率上显著优于现有的LTT和PT方法。具体来说，RG-PT能够更快地找到Pareto最优的超参数集合，并在保证假发现率的前提下，获得更高的模型性能。通过更有效地探索超参数空间，RG-PT实现了更好的性能和更快的探索速度。

🎯 应用场景

该研究成果可广泛应用于需要进行超参数选择的机器学习任务中，尤其是在大型语言模型、图像识别、自然语言处理等领域。通过平衡模型的可靠性和成本，可以提高模型的性能和效率，降低部署和维护成本。该方法还有潜力应用于其他多目标优化问题，例如资源分配、任务调度等。

📄 摘要（原文）

The selection of hyperparameters, such as prompt templates in large language models (LLMs), must often strike a balance between reliability and cost. In many cases, structural relationships between the expected reliability levels of the hyperparameters can be inferred from prior information and held-out data -- e.g., longer prompt templates may be more detailed and thus more reliable. However, existing hyperparameter selection methods either do not provide formal reliability guarantees or are unable to incorporate structured knowledge in the hyperparameter space. This paper introduces reliability graph-based Pareto testing (RG-PT), a novel multi-objective hyperparameter selection framework that maintains formal reliability guarantees in terms of false discovery rate (FDR), while accounting for known relationships among hyperparameters via a directed acyclic graph. Edges in the graph reflect expected reliability and cost trade-offs among hyperparameters, which are inferred via the Bradley-Terry (BT) ranking model from prior information and held-out data. Experimental evaluations demonstrate that RG-PT significantly outperforms existing methods such as learn-then-test (LTT) and Pareto testing (PT) through a more efficient exploration of the hyperparameter space.