Large language models for automated scholarly paper review: A survey

📄 arXiv: 2501.10326v2 📥 PDF

作者: Zhenzhen Zhuang, Jiandong Chen, Hongfeng Xu, Yuwen Jiang, Jialiang Lin

分类: cs.AI, cs.CL, cs.DL

发布日期: 2025-01-17 (更新: 2025-06-24)

备注: Please cite the version of Information Fusion

期刊: Information Fusion, Vol. 124, 103332 (2025)

DOI: 10.1016/j.inffus.2025.103332

💡 一句话要点

综述性论文：大型语言模型在自动化学术论文评审中的应用与挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自动论文评审 学术出版 同行评审 自然语言处理

📋 核心要点

  1. 学术论文评审耗时且成本高昂，现有方法难以满足日益增长的论文数量，亟需自动化解决方案。
  2. 本综述旨在全面分析大型语言模型（LLMs）在自动化学术论文评审（ASPR）中的应用，总结现有成果与挑战。
  3. 论文调研了LLMs在ASPR中的应用，分析了技术瓶颈的解决情况，并探讨了未来发展方向，为研究人员提供参考。

📝 摘要（中文）

大型语言模型（LLMs）对人类社会产生了重大影响，渗透到各个领域。其中，学术界不仅是受LLMs影响的领域，也是LLMs发展的关键力量。在学术出版中，这种现象体现在将LLMs纳入同行评审机制以评审稿件。LLMs具有全面实施自动化学术论文评审（ASPR）的变革潜力，但也带来了需要解决的新问题和挑战。本综述旨在全面了解LLMs时代的ASPR。首先，我们调查了哪些LLMs被用于进行ASPR。然后，我们回顾了哪些与ASPR相关的技术瓶颈已通过LLM技术的结合得到解决。之后，我们进一步探索了伴随LLMs而来的ASPR新方法、新数据集、新源代码和新在线系统。此外，我们总结了LLMs在ASPR中的性能和问题，并调查了出版商和学术界对ASPR的态度和反应。最后，我们讨论了LLMs用于ASPR的发展所面临的挑战和未来方向。本综述为研究人员提供了启发性的参考，并可以促进ASPR的实际实施。

🔬 方法详解

问题定义：当前学术论文评审流程面临效率瓶颈，人工评审耗时且成本高昂，难以应对快速增长的论文数量。现有自动评审方法在理解论文深层含义、识别创新点和提供建设性反馈方面存在不足，无法完全替代人工评审。因此，如何利用大型语言模型（LLMs）提升自动评审的质量和效率，是亟待解决的问题。

核心思路：本综述的核心思路是系统性地梳理和分析LLMs在自动化学术论文评审（ASPR）中的应用现状，包括已解决的技术瓶颈、新方法、新数据集、新系统以及面临的挑战。通过对现有研究的归纳和总结，为未来的研究方向提供指导，并促进ASPR的实际应用。

技术框架：该综述论文采用文献调研和分析的方法。首先，通过关键词搜索和数据库检索，收集了大量关于LLMs在ASPR中应用的相关论文。然后，对这些论文进行分类整理，按照LLMs的应用领域、解决的技术问题、采用的方法和数据集等进行归纳。最后，对现有研究的成果、局限性和未来发展方向进行总结和展望。

关键创新：本综述的关键创新在于其全面性和系统性。它不仅涵盖了LLMs在ASPR中的各种应用，还深入分析了LLMs在评审过程中面临的挑战和问题，例如如何保证评审的公平性、如何避免LLMs的偏见以及如何评估LLMs的评审质量。此外，该综述还探讨了出版商和学术界对ASPR的态度和反应，为未来的研究提供了更全面的视角。

关键设计：本综述没有涉及具体的技术细节，而是侧重于对现有研究的归纳和总结。它关注的是LLMs在ASPR中的整体应用情况，包括使用的模型、数据集、评估指标以及面临的挑战。因此，没有具体的参数设置、损失函数或网络结构需要详细描述。重点在于对现有研究的分类和分析，以及对未来发展方向的展望。

🖼️ 关键图片

fig_0

📊 实验亮点

该综述全面梳理了LLMs在自动化学术论文评审中的应用，总结了现有方法在解决技术瓶颈方面的进展，并指出了LLMs在评审性能、公平性和偏见等方面面临的挑战。该研究为未来的研究方向提供了指导，并促进ASPR的实际应用。

🎯 应用场景

该研究成果可应用于学术出版领域，加速论文评审流程，降低评审成本，提高评审效率。通过LLMs辅助评审，可以减轻评审专家的负担，并为作者提供更及时、更全面的反馈。此外，该研究还可以促进自动评审系统的开发和应用，推动学术出版的智能化发展。

📄 摘要（原文）

Large language models (LLMs) have significantly impacted human society, influencing various domains. Among them, academia is not simply a domain affected by LLMs, but it is also the pivotal force in the development of LLMs. In academic publication, this phenomenon is represented during the incorporation of LLMs into the peer review mechanism for reviewing manuscripts. LLMs hold transformative potential for the full-scale implementation of automated scholarly paper review (ASPR), but they also pose new issues and challenges that need to be addressed. In this survey paper, we aim to provide a holistic view of ASPR in the era of LLMs. We begin with a survey to find out which LLMs are used to conduct ASPR. Then, we review what ASPR-related technological bottlenecks have been solved with the incorporation of LLM technology. After that, we move on to explore new methods, new datasets, new source code, and new online systems that come with LLMs for ASPR. Furthermore, we summarize the performance and issues of LLMs in ASPR, and investigate the attitudes and reactions of publishers and academia to ASPR. Lastly, we discuss the challenges and future directions associated with the development of LLMs for ASPR. This survey serves as an inspirational reference for the researchers and can promote the progress of ASPR for its actual implementation.