Model Consistency as a Cheap yet Predictive Proxy for LLM Elo Scores

📄 arXiv: 2509.23510v1 📥 PDF

作者: Ashwin Ramaswamy, Nestor Demeure, Ermal Rrapaj

分类: cs.AI

发布日期: 2025-09-27

💡 一句话要点

提出基于模型一致性的LLM Elo评分代理，无需人工评估且高效

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型评估 Elo评分 模型一致性 自动化评估 无监督学习

📋 核心要点

  1. 现有LLM评估依赖人工对比，成本高昂且效率低下，难以适应模型快速迭代的需求。
  2. 该论文提出利用LLM自身判断的一致性作为其Elo评分的代理，无需人工干预。
  3. 实验表明，LLM判断一致性与人工Elo评分相关性高达91%，验证了该方法的可行性。

📝 摘要（中文）

每天都有新的大型语言模型（LLM）发布。有些模型的性能明显优于或劣于根据其参数数量的预期。因此，需要一种独立评估模型的方法。目前评估模型的最佳方法是通过在一系列竞赛中将其与其他模型进行比较来测量其Elo评分——这是一项昂贵的操作，因为理想情况下需要人类来比较LLM的输出。我们观察到，当要求LLM判断此类竞赛时，它选择某个模型作为最佳模型的连贯性产生了一个指标，该指标与其自身产生的人工Elo评分的相关性为91%。这为Elo评分提供了一个简单的代理，可以低成本地计算，无需任何人工数据或先验知识。

🔬 方法详解

问题定义：现有大型语言模型（LLM）的评估主要依赖于人工对比，通过Elo评分来衡量模型性能。这种方法成本高昂，耗时较长，难以跟上LLM快速发展的步伐。此外，人工评估的主观性也可能引入偏差，影响评估结果的客观性。因此，需要一种更高效、更客观的LLM评估方法。

核心思路：该论文的核心思路是利用LLM自身的能力来评估其性能。具体来说，作者观察到，当要求LLM判断两个模型在特定任务上的表现时，LLM选择同一模型的连贯性（即一致性）与该模型的人工Elo评分高度相关。这意味着，LLM判断的一致性可以作为其Elo评分的有效代理。

技术框架：该方法主要包含以下几个步骤：1. 收集LLM在多个任务上的输出结果。2. 使用待评估的LLM作为裁判，判断不同模型在同一任务上的表现优劣。3. 计算LLM判断的一致性，即在多次判断中选择同一模型的频率。4. 将LLM判断的一致性作为其Elo评分的代理。

关键创新：该论文的关键创新在于发现并验证了LLM判断一致性与人工Elo评分之间的高度相关性。这种相关性使得可以使用LLM自身来评估其性能，从而避免了人工评估的成本和主观性。此外，该方法无需任何人工数据或先验知识，具有很强的通用性和可扩展性。

关键设计：论文中并没有详细描述具体的参数设置或网络结构，因为该方法主要依赖于LLM自身的判断能力，而不是特定的模型结构或训练方式。关键在于如何设计合适的任务和评估指标，以确保LLM能够有效地进行判断，并准确地反映其性能。

📊 实验亮点

实验结果表明，使用LLM判断一致性作为Elo评分的代理，与人工Elo评分的相关性高达91%。这意味着该方法能够以较低的成本和较高的准确性来评估LLM的性能，显著优于传统的基于人工评估的方法。

🎯 应用场景

该研究成果可应用于快速评估新型LLM的性能，加速模型迭代和优化过程。同时，该方法也可用于构建自动化的LLM评估系统，降低评估成本，提高评估效率。此外，该方法还可用于比较不同LLM的优劣，为用户选择合适的模型提供参考。

📄 摘要（原文）

New large language models (LLMs) are being released every day. Some perform significantly better or worse than expected given their parameter count. Therefore, there is a need for a method to independently evaluate models. The current best way to evaluate a model is to measure its Elo score by comparing it to other models in a series of contests - an expensive operation since humans are ideally required to compare LLM outputs. We observe that when an LLM is asked to judge such contests, the consistency with which it selects a model as the best in a matchup produces a metric that is 91% correlated with its own human-produced Elo score. This provides a simple proxy for Elo scores that can be computed cheaply, without any human data or prior knowledge.