Evaluating LLM-as-a-Judge Beyond Score Alignment: A Psychometric Analysis of Residual Judging Difficulty

📄 arXiv: 2610.02877v1 📥 PDF

作者: Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Fabian Zehner, Hendrik Drachsler, Ulf Kroehne

分类: cs.CL

发布日期: 2026-10-02

备注: Accepted at AACL-IJCNLP 2026

💡 一句话要点

提出心理测量分析方法以评估LLM作为评审的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 心理测量 评审难度 多面Rasch模型 人机协作 自动评审 评估方法

📋 核心要点

  1. 现有方法主要通过与人类评分的一致性来评估LLM的有效性，但未能揭示评审难度的具体结构。
  2. 本文提出通过多面Rasch模型分解评分，定义残余难度来更准确地评估LLM的评审能力。
  3. 实验结果显示，LLM与人类在评审难度上存在显著差异，且这种差异在不同维度上表现出不同的特征。

📝 摘要（中文）

大型语言模型（LLMs）被广泛用于自动评审，其有效性通常通过与人类评分的一致性来评估。然而，聚合一致性并未揭示人类和LLMs在评估案例的困难程度上是否存在共识。本文从心理测量的角度研究了这一问题，采用多面Rasch模型对人类和LLM评分进行拟合，分解评分为潜在摘要质量、评审者严苛程度、维度严苛程度和评分尺度阈值。基于此分解，定义了残余难度作为评审难度的模型调整度量，并比较人类和LLM评审者是否共享相同的难度结构。研究发现，潜在摘要质量的中等一致性并不意味着残余难度的一致性，且这种不匹配在维度上具有强依赖性。

🔬 方法详解

问题定义：本文旨在解决LLM作为评审者时，如何更准确地评估其与人类评审者在评审难度上的一致性问题。现有方法主要依赖于评分一致性，未能深入分析评审难度的具体结构和来源。

核心思路：通过多面Rasch模型对人类和LLM的评分进行分解，提取潜在的摘要质量和评审难度，从而定义残余难度，比较人类与LLM在评审难度上的差异。

技术框架：研究首先收集17个开放权重的LLM评审结果，随后应用多面Rasch模型进行评分分解，最后分析不同维度的评审难度和一致性。

关键创新：本文的创新在于引入心理测量学的残余难度概念，揭示了人类与LLM在评审难度上的不匹配，强调了维度依赖性。

关键设计：在模型设计中，采用了多面Rasch模型的参数设置，确保评分的潜在质量、评审者的严苛程度和维度的严苛程度能够被有效分解和分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，尽管在潜在摘要质量上存在中等一致性，但在残余难度上人类与LLM的评审者存在显著差异。例如，在一致性方面，LLM在某些维度上表现出明显的难度偏移，提示了评审过程中的潜在问题。

🎯 应用场景

该研究的潜在应用领域包括自动评审系统、教育评估和内容生成等。通过更准确地理解LLM的评审能力，可以提升人机协作的效果，优化评审过程，提高评审质量。

📄 摘要（原文）

Large language models (LLMs) are widely used as automatic judges, with validity typically assessed via alignment with human scores. However, aggregate agreement fails to reveal whether humans and LLMs find the same evaluation cases difficult. In this paper, we study this problem in summarization evaluation from a psychometric perspective. We fit Many-Facet Rasch Models separately to human and LLM ratings to decompose scores into latent summary quality, rater severity, dimension severity, and rating-scale thresholds. Building on this decomposition, we define residual hardness as a model-adjusted measure of judging difficulty and compare whether human and LLM judges share the same hardness structure. Across 17 open-weight LLM judges on SummEval, we find that moderate alignment in latent summary quality does not imply alignment in residual hardness. Human and LLM judges differ in which summary--dimension units remain difficult, and this mismatch is strongly dimension-dependent. Consistency shows a pronounced LLM-hard shift, whereas coherence shows a human-hard shift. We further show that human-easy but LLM-hard cases are partially predictable from observable source--summary properties. These findings suggest that aggregate human alignment reflects only part of LLM-as-a-judge reliability, while psychometric residual diagnostics support more informative judge evaluation and more targeted human--LLM collaboration.