Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review
作者: Rui Ye, Xianghe Pang, Jingyi Chai, Jiaao Chen, Zhenfei Yin, Zhen Xiang, Xiaowen Dong, Jing Shao, Siheng Chen
分类: cs.CL, cs.AI, cs.HC, cs.LG
发布日期: 2024-12-02
备注: 27 pages, 24 figures
💡 一句话要点
揭示大语言模型在学术同行评审中应用的风险，强调当前技术尚未成熟
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 同行评审 学术出版 操纵风险 偏见分析
📋 核心要点
- 同行评审面临稿件量激增和人工成本高的挑战，亟需自动化解决方案，但现有LLM评审的安全性与可靠性未知。
- 该研究通过操纵和固有缺陷分析LLM评审的脆弱性，揭示LLM易受作者操纵，可能导致评审质量下降。
- 实验表明，注入隐蔽内容可操纵LLM评审，影响论文排名；LLM对论文缺陷的识别能力弱于人类，且存在偏袒行为。
📝 摘要（中文）
学术同行评审是科学进步的基石，但由于稿件提交数量的增加和过程的劳动密集型性质，该系统正面临压力。大型语言模型（LLM）的最新进展已促使其集成到同行评审中，并取得了可喜的成果，例如LLM生成和人工生成评审之间存在大量重叠。然而，未经检查地采用LLM会对同行评审系统的完整性构成重大风险。在这项研究中，我们通过关注操纵和固有缺陷，全面分析了LLM生成评审的漏洞。我们的实验表明，将隐蔽的故意的文本注入稿件中，作者可以明确地操纵LLM评审，从而导致评分虚高并降低与人工评审的一致性。在一项模拟中，我们发现操纵5%的评审可能会导致12%的论文失去其在前30%排名中的位置。隐式操纵（作者有策略地突出论文中的次要局限性）进一步证明了LLM相对于人工评审员的易感性，与披露的局限性的一致性高出4.5倍。此外，LLM还表现出固有的缺陷，例如可能对不完整的论文给予比完整论文更高的评分，以及在单盲评审过程中偏袒知名作者。这些发现突出了过度依赖LLM进行同行评审的风险，强调我们尚未为广泛采用做好准备，并强调需要强大的保障措施。
🔬 方法详解
问题定义：当前学术同行评审系统面临着日益增长的稿件数量和高昂的人工成本，因此人们开始探索利用大型语言模型（LLM）来辅助甚至替代人工评审员。然而，直接采用未经充分验证的LLM存在风险，因为LLM可能被恶意操纵或存在固有的偏见，从而损害评审的公正性和准确性。现有方法缺乏对LLM在同行评审中潜在漏洞的系统性分析。
核心思路：该研究的核心思路是通过设计一系列实验，模拟作者对LLM评审的操纵行为，并分析LLM在不同场景下的表现。通过对比LLM和人类评审员的反应，揭示LLM在同行评审中的脆弱性和潜在风险。研究重点关注两种操纵方式：显式操纵（注入隐蔽内容）和隐式操纵（突出论文的次要缺陷）。
技术框架：该研究主要包含以下几个阶段： 1. 实验设计：设计多种实验场景，包括显式操纵（在论文中插入特定关键词或短语）和隐式操纵（在论文中突出次要缺陷）。 2. LLM评审生成：使用LLM对经过操纵的论文进行评审，并记录LLM的评分和评审意见。 3. 人类评审对比：邀请人类评审员对相同的论文进行评审，作为基准。 4. 结果分析：对比LLM和人类评审员的评分、评审意见以及对操纵行为的敏感度，评估LLM的可靠性和公正性。 5. 模拟实验：模拟操纵一定比例的评审对论文排名造成的影响。
关键创新：该研究的关键创新在于系统性地分析了LLM在同行评审中的脆弱性，并提出了两种操纵LLM评审的方法：显式操纵和隐式操纵。此外，该研究还揭示了LLM在单盲评审中可能存在的偏见，以及对不完整论文的评分可能高于完整论文的现象。
关键设计：研究中使用了多种LLM模型，具体模型名称未知。显式操纵实验中，设计了特定的关键词和短语，用于诱导LLM给出更高的评分。隐式操纵实验中，作者在论文中突出了一些次要的缺陷，观察LLM是否会过度关注这些缺陷。模拟实验中，通过调整评审的评分，模拟操纵评审对论文排名的影响。具体的损失函数和网络结构等技术细节未知。
🖼️ 关键图片
📊 实验亮点
研究发现，通过在论文中注入隐蔽内容，作者可以显著提高LLM给出的评分，并降低LLM评审与人类评审的一致性。模拟实验表明，操纵5%的评审可能导致12%的论文失去其在前30%排名中的位置。此外，LLM对论文缺陷的识别能力远低于人类评审员，与作者披露的局限性的一致性高出4.5倍。
🎯 应用场景
该研究成果可应用于开发更安全的LLM辅助同行评审系统，例如设计检测恶意操纵的算法，或改进LLM的训练方法以减少偏见。研究结果也警示学术界，在广泛采用LLM评审之前，必须充分评估其风险并建立相应的保障机制，以维护学术评审的公正性和可靠性。
📄 摘要（原文）
Scholarly peer review is a cornerstone of scientific advancement, but the system is under strain due to increasing manuscript submissions and the labor-intensive nature of the process. Recent advancements in large language models (LLMs) have led to their integration into peer review, with promising results such as substantial overlaps between LLM- and human-generated reviews. However, the unchecked adoption of LLMs poses significant risks to the integrity of the peer review system. In this study, we comprehensively analyze the vulnerabilities of LLM-generated reviews by focusing on manipulation and inherent flaws. Our experiments show that injecting covert deliberate content into manuscripts allows authors to explicitly manipulate LLM reviews, leading to inflated ratings and reduced alignment with human reviews. In a simulation, we find that manipulating 5% of the reviews could potentially cause 12% of the papers to lose their position in the top 30% rankings. Implicit manipulation, where authors strategically highlight minor limitations in their papers, further demonstrates LLMs' susceptibility compared to human reviewers, with a 4.5 times higher consistency with disclosed limitations. Additionally, LLMs exhibit inherent flaws, such as potentially assigning higher ratings to incomplete papers compared to full papers and favoring well-known authors in single-blind review process. These findings highlight the risks of over-reliance on LLMs in peer review, underscoring that we are not yet ready for widespread adoption and emphasizing the need for robust safeguards.