PeeriScope: A Multi-Faceted Framework for Evaluating Peer Review Quality

📄 arXiv: 2604.24071v1 📥 PDF

作者: Sajad Ebrahimi, Soroush Sadeghian, Ali Ghorbanpour, Negar Arabzadeh, Sara Salamat, Seyed Mohammad Hosseini, Hai Son Le, Mahdi Bashari, Ebrahim Bagheri

分类: cs.CL

发布日期: 2026-04-27

DOI: 10.1145/3774905.3793128

🔗 代码/项目: GITHUB

💡 一句话要点

PeeriScope：一个多维度评估同行评审质量的综合框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 同行评审 质量评估 大型语言模型 监督学习 模块化平台

📋 核心要点

  1. 现有同行评审质量评估缺乏系统性工具，难以应对评审规模的扩大和质量的差异性。
  2. PeeriScope通过整合结构化特征、LLM评估和监督学习，提供多维度评审质量评估。
  3. PeeriScope提供公共界面和API，支持实际部署和扩展，并已应用于评审员自评等场景。

📝 摘要（中文）

学术场所中同行评审的规模和可变性日益增加，迫切需要系统化、可解释和可扩展的工具来评估评审质量。我们提出了PeeriScope，这是一个模块化平台，集成了结构化特征、基于评分标准的LLM评估和监督预测，以多维度评估同行评审质量。PeeriScope设计为开放和集成，提供公共界面和完善的API文档，支持实际部署和研究扩展。演示展示了其在评审员自评、编辑分流和大规模审计中的应用，并促进科学同行评审中质量评估方法的持续发展。PeeriScope可以通过https://app.reviewer.ly/app/peeriscope上的实时演示和https://github.com/Reviewerly-Inc/Peeriscope上的API服务获得。

🔬 方法详解

问题定义：论文旨在解决同行评审质量评估中缺乏系统性、可解释性和可扩展性工具的问题。现有的评审质量评估方法往往依赖于人工判断，效率低且主观性强，难以应对日益增长的评审量和评审质量的差异性。因此，需要一种能够自动、客观地评估评审质量的工具，以提高评审效率和质量。

核心思路：PeeriScope的核心思路是将评审质量评估分解为多个维度，并利用结构化特征、大型语言模型（LLM）和监督学习等多种技术手段，对每个维度进行评估，最终综合得到评审质量的整体评价。这种多维度评估方法能够更全面、更客观地反映评审质量，并提供更细粒度的反馈信息。

技术框架：PeeriScope的整体架构包含三个主要模块：1) 结构化特征提取模块，用于提取评审报告中的结构化信息，如评审意见的长度、清晰度、相关性等；2) 基于评分标准的LLM评估模块，利用预训练的LLM，根据预定义的评分标准，对评审意见进行自动评估；3) 监督学习模块，利用人工标注的评审质量数据，训练监督学习模型，用于预测评审质量。这三个模块相互协作，共同完成评审质量评估任务。

关键创新：PeeriScope的关键创新在于其多维度评估方法和对LLM的创新性应用。传统方法往往只关注评审报告的整体质量，而PeeriScope则将评审质量分解为多个维度，并对每个维度进行独立评估，从而提供更细粒度的反馈信息。此外，PeeriScope还创新性地利用LLM进行评审意见的自动评估，大大提高了评估效率和客观性。

关键设计：PeeriScope的关键设计包括：1) 结构化特征的选择，需要选择能够有效反映评审质量的特征；2) 评分标准的制定，需要制定清晰、明确、可操作的评分标准，以便LLM能够准确地评估评审意见；3) 监督学习模型的选择和训练，需要选择合适的模型和训练数据，以提高预测精度。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文提出了PeeriScope平台，通过整合结构化特征、LLM评估和监督学习，实现了多维度的同行评审质量评估。该平台提供公共界面和API，方便实际部署和研究扩展。演示表明，PeeriScope可用于评审员自评、编辑分流和大规模审计，为同行评审质量评估提供了新的解决方案。

🎯 应用场景

PeeriScope可应用于多种场景，包括评审员自评、编辑分流和大规模审计。评审员可以利用PeeriScope评估自己的评审质量，并根据评估结果改进评审方法。编辑可以利用PeeriScope快速筛选高质量的评审报告，提高评审效率。学术机构可以利用PeeriScope对评审质量进行大规模审计，发现评审过程中的问题并加以改进。该研究有助于提高同行评审的效率和质量，促进学术交流和发展。

📄 摘要（原文）

The increasing scale and variability of peer review in scholarly venues has created an urgent need for systematic, interpretable, and extensible tools to assess review quality. We present PeeriScope, a modular platform that integrates structured features, rubric-guided large language model assessments, and supervised prediction to evaluate peer review quality along multiple dimensions. Designed for openness and integration, PeeriScope provides both a public interface and a documented API, supporting practical deployment and research extensibility. The demonstration illustrates its use for reviewer self-assessment, editorial triage, and large-scale auditing, and it enables the continued development of quality evaluation methods within scientific peer review. PeeriScope is available both as a live demo at https://app.reviewer.ly/app/peeriscope and via API services at https://github.com/Reviewerly-Inc/Peeriscope.