Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews

📄 arXiv: 2604.19502v1 📥 PDF

作者: Bowen Li, Haochen Ma, Yuxin Wang, Jie Yang, Xinchi Chen, Xuanjing Huang, Yining Zheng, Xipeng Qiu

分类: cs.CL

发布日期: 2026-04-21

备注: 38 pages,8 figures,4 tables

💡 一句话要点

提出Beyond Rating框架，从文本论证角度全面评估AI评审质量，解决现有benchmark仅关注评分预测的局限性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI评审 自动评审 文本评估 自然语言处理 大型语言模型

📋 核心要点

  1. 现有AI评审benchmark主要关注评分预测，忽略了评审文本论证的质量，无法有效评估AI评审的实用性。
  2. 提出Beyond Rating框架，从内容忠实性、论证一致性等五个维度全面评估AI评审，更关注文本论证的质量。
  3. 实验表明，以文本为中心的指标（如弱点论点召回率）与评分准确率高度相关，验证了框架的有效性。

📝 摘要（中文）

大型语言模型（LLMs）的快速发展激发了人们对自动同行评审的兴趣。然而，目前的benchmark主要将评审视为评分预测任务，阻碍了该领域的发展。我们认为，评审的效用在于其文本论证——论点、问题和批判，而非标量分数。为此，我们提出了Beyond Rating，一个全面的评估框架，从五个维度评估AI评审员：内容忠实性、论证一致性、焦点一致性、问题建设性和AI可能性。我们提出了一种Max-Recall策略来适应专家意见分歧，并引入了一个经过严格过滤以消除程序噪声的高置信度评审论文数据集。大量实验表明，传统的n-gram指标无法反映人类偏好，而我们提出的以文本为中心的指标——特别是弱点论点的召回率——与评分准确率密切相关。这些发现表明，使AI批判焦点与人类专家保持一致是可靠自动评分的先决条件，为未来的研究提供了强大的标准。

🔬 方法详解

问题定义：现有AI评审benchmark主要将评审任务简化为评分预测，忽略了评审文本的质量和论证的合理性。这种方法无法有效评估AI评审的实用价值，也难以指导AI评审模型的优化。现有方法缺乏对评审内容、论证、问题等方面的细粒度评估，无法区分高质量和低质量的AI评审。

核心思路：论文的核心思路是将AI评审的评估重点从评分预测转移到文本论证的质量。认为评审的价值在于其提供的论点、问题和批判，而评分只是这些论证的最终体现。通过对评审文本进行多维度评估，可以更全面地了解AI评审的优缺点，并指导AI评审模型的改进。

技术框架：Beyond Rating框架包含五个评估维度：内容忠实性（Content Faithfulness）、论证一致性（Argumentative Alignment）、焦点一致性（Focus Consistency）、问题建设性（Question Constructiveness）和AI可能性（AI-Likelihood）。框架使用人工标注的数据集，并设计了相应的评估指标来衡量AI评审在每个维度上的表现。为了解决专家评审意见不一致的问题，论文提出了Max-Recall策略，允许AI评审覆盖多个专家意见。

关键创新：该论文的关键创新在于提出了一个以文本为中心的AI评审评估框架，打破了以往只关注评分预测的局限。通过多维度评估AI评审的文本论证质量，可以更全面地了解AI评审的优缺点，并指导AI评审模型的改进。此外，Max-Recall策略也有效地解决了专家评审意见不一致的问题。

关键设计：在内容忠实性方面，评估AI评审是否准确地反映了论文的内容。在论证一致性方面，评估AI评审的论点是否与专家评审一致。在焦点一致性方面，评估AI评审是否关注了论文的关键问题。在问题建设性方面，评估AI评审提出的问题是否具有启发性。在AI可能性方面，评估AI评审是否容易被识别为AI生成的内容。论文还设计了相应的评估指标，如弱点论点的召回率，来衡量AI评审在每个维度上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，传统的n-gram指标无法有效反映人类对AI评审的偏好，而论文提出的以文本为中心的指标（特别是弱点论点的召回率）与评分准确率高度相关。这表明，使AI批判焦点与人类专家保持一致是可靠自动评分的关键。

🎯 应用场景

该研究成果可应用于自动同行评审系统，帮助提高评审效率和质量。通过Beyond Rating框架，可以更全面地评估AI评审的优缺点，并指导AI评审模型的改进。此外，该框架还可以用于评估其他类型的AI生成文本，如新闻报道、产品评论等，提高AI生成内容的质量和可信度。

📄 摘要（原文）

The rapid adoption of Large Language Models (LLMs) has spurred interest in automated peer review; however, progress is currently stifled by benchmarks that treat reviewing primarily as a rating prediction task. We argue that the utility of a review lies in its textual justification--its arguments, questions, and critique--rather than a scalar score. To address this, we introduce Beyond Rating, a holistic evaluation framework that assesses AI reviewers across five dimensions: Content Faithfulness, Argumentative Alignment, Focus Consistency, Question Constructiveness, and AI-Likelihood. Notably, we propose a Max-Recall strategy to accommodate valid expert disagreement and introduce a curated dataset of paper with high-confidence reviews, rigorously filtered to remove procedural noise. Extensive experiments demonstrate that while traditional n-gram metrics fail to reflect human preferences, our proposed text-centric metrics--particularly the recall of weakness arguments--correlate strongly with rating accuracy. These findings establish that aligning AI critique focus with human experts is a prerequisite for reliable automated scoring, offering a robust standard for future research.