am-ELO: A Stable Framework for Arena-based LLM Evaluation

📄 arXiv: 2505.03475v2 📥 PDF

作者: Zirui Liu, Jiatong Li, Yan Zhuang, Qi Liu, Shuanghong Shen, Jie Ouyang, Mingyue Cheng, Shijin Wang

分类: cs.AI, cs.LG

发布日期: 2025-05-06 (更新: 2025-05-29)

备注: ICML2025 Accepted

💡 一句话要点

提出am-ELO，一个基于竞技场的稳定LLM评估框架，解决ELO系统的不稳定性问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型评估 ELO评分系统 最大似然估计 标注者能力建模 竞技场评估 模型排序 稳定性分析

📋 核心要点

  1. 现有基于ELO的LLM竞技场评估框架存在排名不一致和忽略标注者能力差异导致的不稳定性问题。
  2. 论文提出am-ELO框架，通过最大似然估计（MLE）替代迭代更新，并考虑标注者能力，提升评估稳定性。
  3. 实验证明，am-ELO框架能够提供更稳健、准确和稳定的LLM评估结果，有效解决了现有方法的不稳定性。

📝 摘要（中文）

基于竞技场的评估是现代AI模型，尤其是大型语言模型（LLM）的一种基础但重要的评估范式。现有的基于ELO评分系统的框架存在不可避免的不稳定性问题，这是由于排名不一致以及缺乏对标注者能力差异的关注所致。本文提出了一种新的稳定竞技场框架，通过增强ELO评分系统来解决这些问题。具体来说，我们用最大似然估计（MLE）方法m-ELO取代了迭代更新方法，并提供了MLE方法在模型排序方面的一致性和稳定性的理论证明。此外，我们提出了am-ELO，它修改了Elo评分的概率函数，以纳入标注者的能力，从而能够同时估计模型分数和标注者可靠性。实验表明，该方法确保了稳定性，证明该框架为LLM提供了一种更稳健、准确和稳定的评估方法。

🔬 方法详解

问题定义：现有的基于ELO评分系统的竞技场评估框架在评估大型语言模型（LLM）时，存在固有的不稳定性问题。这种不稳定性主要源于两个方面：一是模型排名结果的不一致性，即模型之间的相对优劣关系在不同评估轮次中可能发生变化；二是忽略了标注者（annotator）自身能力和偏好的差异，导致评估结果受到标注者主观因素的影响。这些问题降低了评估结果的可靠性和可信度。

核心思路：论文的核心思路是通过改进传统的ELO评分系统，使其更加稳定和准确。具体而言，首先，采用最大似然估计（MLE）方法来估计模型的评分，取代了原有的迭代更新方法，从而在理论上保证了模型排序的一致性和稳定性。其次，将标注者的能力纳入评分模型中，通过同时估计模型分数和标注者可靠性，来消除标注者主观因素对评估结果的影响。

技术框架：am-ELO框架主要包含以下几个阶段：1) 数据收集：收集LLM在竞技场中的pairwise比较结果，包括模型A胜过模型B的次数等信息。2) 模型评分：使用最大似然估计（MLE）方法，根据收集到的比较结果，估计每个LLM的评分。3) 标注者能力估计：同时估计每个标注者的能力，例如其判断的准确性、一致性等。4) 结果分析：根据模型评分和标注者能力，对LLM进行排序和评估，并分析评估结果的可靠性。

关键创新：该论文最重要的技术创新点在于提出了am-ELO，它在传统的ELO评分系统中引入了对标注者能力的建模。与现有方法相比，am-ELO能够同时估计模型分数和标注者可靠性，从而更准确地反映模型的真实性能，并消除标注者主观因素的影响。此外，使用MLE方法替代迭代更新，从理论上保证了模型排序的稳定性和一致性。

关键设计：am-ELO的关键设计在于修改了Elo评分的概率函数，以纳入标注者的能力。具体而言，假设模型A胜过模型B的概率不仅取决于它们的分数差异，还取决于标注者的能力。论文使用sigmoid函数来建模这种概率关系，并使用MLE方法来估计模型分数和标注者能力。此外，论文还提供了MLE方法在模型排序方面的一致性和稳定性的理论证明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，am-ELO框架能够显著提高LLM评估的稳定性。与传统的ELO评分系统相比，am-ELO能够更准确地反映模型的真实性能，并消除标注者主观因素的影响。具体而言，am-ELO在模型排序的一致性和稳定性方面取得了显著提升，证明了其在LLM评估中的有效性。

🎯 应用场景

该研究成果可广泛应用于大型语言模型的评估和选择。通过使用am-ELO框架，可以更准确、稳定地评估LLM的性能，从而帮助研究人员和开发者选择更合适的模型，并指导模型的改进和优化。此外，该框架还可以应用于其他AI模型的评估，例如图像识别模型、语音识别模型等，具有广泛的应用前景。

📄 摘要（原文）

Arena-based evaluation is a fundamental yet significant evaluation paradigm for modern AI models, especially large language models (LLMs). Existing framework based on ELO rating system suffers from the inevitable instability problem due to ranking inconsistency and the lack of attention to the varying abilities of annotators. In this paper, we introduce a novel stable arena framework to address these issues by enhancing the ELO Rating System. Specifically, we replace the iterative update method with a Maximum Likelihood Estimation (MLE) approach, m-ELO, and provide theoretical proof of the consistency and stability of the MLE approach for model ranking. Additionally, we proposed the am-ELO, which modify the Elo Rating's probability function to incorporate annotator abilities, enabling the simultaneous estimation of model scores and annotator reliability. Experiments demonstrate that this method ensures stability, proving that this framework offers a more robust, accurate, and stable evaluation method for LLMs.