Model Consistency as a Cheap yet Predictive Proxy for LLM Elo Scores

📄 arXiv: 2509.23510v1 📥 PDF

作者: Ashwin Ramaswamy, Nestor Demeure, Ermal Rrapaj

分类: cs.AI

发布日期: 2025-09-27

💡 一句话要点

提出基于模型一致性的LLM Elo评分代理，无需人工评估且高效预测模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型评估 Elo评分 模型一致性 无监督学习 LLM性能预测

📋 核心要点

  1. 现有LLM评估依赖人工对比，成本高昂且效率低下，难以适应模型快速迭代的需求。
  2. 利用LLM自身判断的一致性作为代理指标，无需人工干预即可评估模型性能。
  3. 实验表明，该代理指标与人工评估的Elo评分具有高度相关性，可有效预测模型性能。

📝 摘要（中文）

随着新型大型语言模型（LLM）的不断涌现，其性能表现与其参数规模并不总是相符。因此，我们需要一种独立评估模型的方法。目前评估模型的最佳方式是通过Elo评分，即在一系列竞赛中与其他模型进行比较。然而，这种方法成本高昂，理想情况下需要人工评估LLM的输出结果。本文观察到，当使用LLM来判断这些竞赛时，其选择某个模型作为最佳模型的一致性程度，可以产生一个与人工评估的Elo评分相关性高达91%的指标。这为Elo评分提供了一个简单的代理，计算成本低廉，无需任何人工数据或先验知识。

🔬 方法详解

问题定义：论文旨在解决LLM评估成本高昂的问题。现有方法，特别是基于人工评估的Elo评分，虽然准确，但需要大量的人力资源和时间，难以快速评估大量涌现的新模型。因此，需要一种更高效、更经济的LLM评估方法。

核心思路：论文的核心思路是利用LLM自身的能力来评估其他LLM。具体来说，通过让LLM判断不同模型在同一任务上的输出结果，并统计其选择某个模型作为最佳模型的一致性。这种一致性被认为可以反映模型的相对性能。

技术框架：该方法主要包含以下几个步骤：1. 收集一系列LLM在相同任务上的输出结果。2. 使用一个LLM作为裁判，判断每个任务中哪个模型的输出结果最佳。3. 统计裁判LLM选择每个模型作为最佳模型的一致性。4. 将该一致性指标与人工评估的Elo评分进行比较，验证其相关性。

关键创新：该方法最重要的创新在于，它提出了一种无需人工干预的LLM评估方法。通过利用LLM自身的能力，可以快速、经济地评估大量模型，并预测其相对性能。这种方法避免了人工评估的主观性和高成本，提高了LLM评估的效率。

关键设计：论文的关键设计在于如何定义和计算模型一致性。具体来说，一致性被定义为裁判LLM在多次判断中选择同一个模型作为最佳模型的频率。此外，论文还关注了裁判LLM的选择偏差，并采取措施来减轻这种偏差的影响。具体的参数设置和损失函数在论文中没有详细描述，可能需要参考相关文献或实验设置。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于模型一致性的代理指标与人工评估的Elo评分具有高达91%的相关性。这意味着该方法可以有效地预测LLM的相对性能，而无需任何人工数据或先验知识。该方法为LLM评估提供了一种高效、经济的替代方案。

🎯 应用场景

该研究成果可广泛应用于LLM的快速评估和筛选，例如在模型开发过程中，可以利用该方法快速评估不同模型的性能，选择最佳模型进行部署。此外，该方法还可以用于构建LLM排行榜，帮助用户选择合适的LLM。该方法降低了LLM评估的成本，加速了LLM的迭代和发展。

📄 摘要（原文）

New large language models (LLMs) are being released every day. Some perform significantly better or worse than expected given their parameter count. Therefore, there is a need for a method to independently evaluate models. The current best way to evaluate a model is to measure its Elo score by comparing it to other models in a series of contests - an expensive operation since humans are ideally required to compare LLM outputs. We observe that when an LLM is asked to judge such contests, the consistency with which it selects a model as the best in a matchup produces a metric that is 91% correlated with its own human-produced Elo score. This provides a simple proxy for Elo scores that can be computed cheaply, without any human data or prior knowledge.