Trustworthy Method Comparison with AI Judges: Estimation and Design under Order, Batch, and Aggregation Effects
作者: Tianxi Li, Jie Ding
分类: stat.ML, cs.LG, stat.AP, stat.ME
发布日期: 2026-10-06
💡 一句话要点
提出基于马尔可夫广义线性混合模型的AI评估方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 马尔可夫模型 广义线性混合模型 自动化评估 统计有效性
📋 核心要点
- 现有方法在使用大型语言模型进行自动化评估时，缺乏对随机化提示序列的统计有效性分析。
- 论文提出了一种基于马尔可夫广义线性混合模型的评估方法，能够更准确地处理排行榜排名和组比较问题。
- 实验证明，所提方法在不同的LLM上具有良好的预测能力，并能有效提高评估效率。
📝 摘要（中文）
随着大型语言模型（LLMs）在自动化AI评估中的应用日益增加，随机化提示序列并平均结果的统计有效性仍不明确。本文展示了LLM评估机制可以通过一类马尔可夫广义线性混合模型（GLMMs）进行近似，支持了在三种主要商业LLMs上的样本外预测。使用一阶马尔可夫GLMM，我们研究了排行榜排名和组比较。在排行榜排名中，随机化和平均选择在温和分离条件下是一致的，而Williams平方设计在项目质量接近时可以提高效率。对于组比较，简单平均可能因响应模型的非线性而导致对组级质量差异的不一致结论。实证结果进一步支持了所提出的基于模型的推断的有效性，超越了一阶理论，包括具有更高阶序列记忆的设置。我们在AI评估两种图形模型估计方法的应用中展示了该方法。
🔬 方法详解
问题定义：本文旨在解决使用大型语言模型进行自动化评估时，随机化提示序列的统计有效性不足的问题。现有方法在处理排行榜排名和组比较时，可能导致不一致的结论。
核心思路：论文的核心思路是通过马尔可夫广义线性混合模型（GLMMs）来近似LLM的评估机制。这种设计能够更好地捕捉评估过程中的非线性特征，从而提高评估的准确性和一致性。
技术框架：整体架构包括数据收集、模型构建、参数估计和结果分析四个主要模块。首先收集评估数据，然后构建一阶马尔可夫GLMM，接着进行参数估计，最后分析排行榜和组比较的结果。
关键创新：最重要的技术创新点在于将马尔可夫GLMM应用于LLM评估，提供了一种新的视角来理解和优化评估过程。这与传统的简单平均方法有本质区别，能够更有效地处理非线性响应模型。
关键设计：在模型设计中，采用了Williams平方设计来提高效率，并设置了适当的分离条件以确保随机化和平均选择的一致性。此外，模型还考虑了更高阶的序列记忆，以增强预测能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的基于马尔可夫GLMM的方法在排行榜排名中表现出更高的效率，特别是在项目质量接近的情况下，使用Williams平方设计可显著提高评估的准确性。与传统方法相比，模型的推断能力在不同LLM上均得到了验证，显示出更强的适应性和可靠性。
🎯 应用场景
该研究的潜在应用领域包括教育评估、内容审核和自动化评分系统等。通过提高AI评估的准确性和一致性，能够在多个行业中提升决策质量，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models (LLMs) are increasingly used as judges for automated AI evaluation. A common practice is to randomize prompt sequences and average the resulting scores, but its statistical validity remains unclear. We show that LLM evaluation mechanisms can be approximated by a class of Markov generalized linear mixed models (GLMMs), supported by out-of-sample predictions across three major commercial LLMs. Using a first-order Markov GLMM, we study leaderboard ranking and group comparison. For leaderboard ranking, randomize-and-average selection is consistent under a mild separation condition, and a Williams square design can improve efficiency when item qualities are close. For group comparison, naive averaging can yield inconsistent conclusions about differences in group-level quality because of the response model's nonlinearity. Empirical results further support the validity of the proposed model-based inference beyond the first-order theory, including settings with higher-order sequence memory. We illustrate the approach in an application where AI judges compare two graphical model estimation methods.