Beyond Scalar Leaderboards: Adaptive Sampling for Pareto Frontier Identification in Multi-Objective LLM Arenas
作者: Liang Twist Shan, Jiahao Ai, Zhimei Ren
分类: stat.ML, cs.AI, cs.LG, stat.AP, stat.OT
发布日期: 2026-10-20
备注: 51 pages, including references and appendices
💡 一句话要点
提出VB-EGE算法以高效识别多目标LLM的Pareto前沿
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多目标优化 自适应采样 大型语言模型 Pareto前沿 统计学习
📋 核心要点
- 现有的多目标模型评估方法往往依赖于昂贵的人类反馈，导致效率低下。
- 本文提出的VB-EGE算法通过自适应采样，逐步消除不符合Pareto前沿的模型，提升评估效率。
- 实验结果表明，VB-EGE在多个真实数据集上表现出色，能够高效准确地识别Pareto前沿。
📝 摘要（中文）
大型语言模型（LLMs）的评估本质上是多目标的，因为不同模型在数学、代码和写作等性能维度上可能存在不同的权衡。由于这种评估通常依赖于耗时且成本高昂的人类反馈，因此在尽可能少的比较中得出可靠结论显得尤为重要。本文提出了一种固定置信度的自适应采样算法——Vector-Borda经验间隙消除（VB-EGE），用于高效识别竞技场风格评估中的Pareto前沿。VB-EGE在累积足够的统计证据以证明模型的Pareto状态后，逐步从活动集中消除模型。在多目标Bradley-Terry模型下，我们证明了VB-EGE以高概率返回正确的Pareto前沿，并推导出其样本复杂度的实例相关上界。此外，我们还建立了最坏情况的下界，表明VB-EGE在对数因子范围内是最小最大最优的。对三个真实世界竞技场数据集的模拟和实验表明了VB-EGE的实证有效性。
🔬 方法详解
问题定义：本文旨在解决大型语言模型的多目标评估问题，现有方法在评估效率和准确性上存在不足，尤其是依赖人类反馈的高成本和时间消耗。
核心思路：VB-EGE算法通过固定置信度的自适应采样策略，逐步消除不符合Pareto前沿的模型，从而高效识别最优模型组合。该设计旨在减少比较次数，同时确保评估结果的可靠性。
技术框架：VB-EGE的整体架构包括模型比较、统计证据累积和模型消除三个主要模块。在每次比较中，算法会根据选定的性能维度评估模型对，并根据累积的证据决定是否消除某个模型。
关键创新：VB-EGE的主要创新在于其固定置信度的自适应采样机制，能够在保证高概率返回正确Pareto前沿的同时，显著降低样本复杂度。这一方法与传统的逐一比较方法相比，效率更高且更具可扩展性。
关键设计：在算法设计中，设置了适当的置信度阈值和统计检验标准，以确保在有限的比较中获得可靠的Pareto状态判断。此外，算法还考虑了多目标Bradley-Terry模型的特性，以优化模型比较的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，VB-EGE在三个真实世界的竞技场数据集上表现优异，能够在较少的比较次数下准确识别Pareto前沿，相较于传统方法，样本复杂度显著降低，验证了其在多目标评估中的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的评估与选择，尤其是在需要多维度性能权衡的场景中，如教育、编程助手和内容生成等。VB-EGE算法的高效性和准确性将为模型开发和优化提供重要支持，推动相关领域的研究进展。未来，该方法还可能扩展到其他类型的多目标优化问题。
📄 摘要（原文）
The evaluation of large language models (LLMs) is inherently multi-objective, as different models may offer different tradeoffs across performance dimensions such as math, code, and writing. Because such evaluations are often based on costly and time-consuming human feedback, it is important to draw reliable conclusions using as few comparisons as possible. In this paper, we present Vector-Borda Empirical-Gap Elimination (VB-EGE), a fixed-confidence adaptive sampling algorithm for efficiently identifying models on the Pareto frontier in arena-style evaluation, where each comparison evaluates a pair of models on a prompt with respect to a selected performance dimension. VB-EGE progressively eliminates models from an active set once sufficient statistical evidence has been accumulated to certify their Pareto status. Under a multi-objective Bradley-Terry model, we show that VB-EGE returns the correct Pareto frontier with high probability and derive an instance-dependent upper bound on its sample complexity. We further establish a worst-case lower bound showing that VB-EGE is minimax-optimal up to logarithmic factors. Simulations and experiments on three real-world Arena datasets (Arena, SearchArena, and VisionArena) demonstrate VB-EGE's empirical effectiveness.