Can AI Be a Good Peer Reviewer? A Survey of Peer Review Process, Evaluation, and the Future

📄 arXiv: 2604.27924v1 📥 PDF

作者: Sihong Wu, Owen Jiang, Yilun Zhao, Tiansheng Hu, Yiling Ma, Kaiyan Zhang, Manasi Patwardhan, Arman Cohan

分类: cs.CL, cs.AI

发布日期: 2026-04-30

备注: ACL 2026

💡 一句话要点

综述：探讨大型语言模型在同行评审流程中的应用、评估及未来发展

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 同行评审 大型语言模型 自然语言处理 自动化 综述

📋 核心要点

  1. 现有同行评审流程耗时且成本高昂，存在主观性和偏见，大型语言模型有望解决这些问题。
  2. 该综述全面梳理了LLM在同行评审各阶段的应用，包括评审生成、回复、元评审和修改，并分析了不同方法的优缺点。
  3. 论文总结了现有数据集和评估方法，并讨论了伦理问题和未来方向，为研究人员提供了实践指导。

📝 摘要（中文）

同行评审是一个多阶段的过程，包括审稿、回复、元评审、最终决策和后续的手稿修改。大型语言模型（LLMs）的最新进展推动了辅助或自动化此流程不同阶段的方法。本综述总结了以下技术：（i）同行评审生成，包括微调策略、基于代理的系统、基于强化学习的方法以及增强生成的新兴范例；（ii）评审后任务，包括回复、元评审和与评审对齐的修改；（iii）评估方法，涵盖以人为本、基于参考、基于LLM和面向方面的方法。我们整理了数据集，比较了建模选择，并讨论了局限性、伦理问题和未来方向。本综述旨在为构建、评估和集成LLM系统到整个同行评审工作流程中提供实用指导。

🔬 方法详解

问题定义：同行评审过程面临效率低下、主观性强、专家资源有限等问题。现有方法难以有效利用大型语言模型自动化或辅助同行评审的各个阶段，缺乏系统的综述和指导。

核心思路：本综述的核心思路是系统性地梳理和分析大型语言模型在同行评审流程中的应用，包括评审生成、评审后任务（如回复和修改）以及评估方法。通过对现有技术的分类、比较和总结，为研究人员提供全面的技术指导。

技术框架：该综述没有提出新的技术框架，而是对现有技术进行了分类和总结。主要分为三个部分：(1)同行评审生成，包括微调策略、基于代理的系统和强化学习方法；(2)评审后任务，包括回复、元评审和修改；(3)评估方法，包括以人为本、基于参考、基于LLM和面向方面的方法。

关键创新：该综述的创新之处在于其全面性和系统性。它首次将大型语言模型在同行评审流程中的应用进行了全面的梳理和总结，并对不同方法的优缺点进行了深入分析。此外，该综述还整理了相关数据集和评估方法，为研究人员提供了宝贵的资源。

关键设计：该综述的关键设计在于其分类体系和分析框架。它将大型语言模型在同行评审流程中的应用分为三个主要部分，并对每个部分的技术进行了详细的描述和比较。此外，该综述还对现有方法的局限性、伦理问题和未来方向进行了深入的讨论。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该综述全面总结了LLM在同行评审各阶段的应用，并对不同方法进行了比较分析，为研究人员提供了实践指导。同时，论文整理了相关数据集和评估方法，为后续研究提供了宝贵的资源。

🎯 应用场景

该研究成果可应用于学术出版、基金申请评审、内部项目评估等领域，提高评审效率、降低成本、减少主观偏见。未来，有望构建智能化的同行评审系统，实现更公平、高效的科研评价。

📄 摘要（原文）

Peer review is a multi-stage process involving reviews, rebuttals, meta-reviews, final decisions, and subsequent manuscript revisions. Recent advances in large language models (LLMs) have motivated methods that assist or automate different stages of this pipeline. In this survey, we synthesize techniques for (i) peer review generation, including fine-tuning strategies, agent-based systems, RL-based methods, and emerging paradigms to enhance generation; (ii) after-review tasks including rebuttals, meta-review and revision aligned to reviews; and (iii) evaluation methods spanning human-centered, reference-based, LLM-based and aspect-oriented. We catalog datasets, compare modeling choices, and discuss limitations, ethical concerns, and future directions. The survey aims to provide practical guidance for building, evaluating, and integrating LLM systems across the full peer review workflow.