How Well Do LLMs Perform in Peer Review? Evidence from Finance and Accounting

📄 arXiv: 2610.18435v1 📥 PDF

作者: Hai Lu, Yichen Luo, Luping Yu

分类: q-fin.GN, cs.AI

发布日期: 2026-10-13

💡 一句话要点

探讨大型语言模型在同行评审中的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 同行评审 金融研究 会计研究 模型评估 学术贡献 研究正确性

📋 核心要点

  1. 现有的同行评审方法在判断研究的重要性和贡献方面存在不足，导致评审结果的可靠性受到质疑。
  2. 本文提出利用大型语言模型（如GPT-4o和GPT-5）来评估论文的正确性，旨在提高评审效率和准确性。
  3. 研究结果表明，模型评分高的论文在顶级期刊的发表概率显著提高，验证了模型在技术检查方面的有效性。

📝 摘要（中文）

随着大型语言模型（LLMs）在同行评审中的使用日益增加，金融和会计期刊对此存在分歧。本文研究了LLMs在评审工作中的具体作用。通过使用GPT-4o对2024年AFA和NBER金融会议的论文进行评审，并与未来两年内在顶级金融期刊的发表情况进行比较，发现模型评分高出一个标准差的论文，其发表概率提高了44%。这一结果不受未来偏差影响，因为模型并不记得结果。模型的判断主要基于正确性和表述，而对原创性和重要性的判断则无效。该结论同样适用于会计论文和更新的GPT-5模型，表明LLMs能够检查研究的正确性，但无法判断其重要性。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在同行评审中能否有效判断论文的贡献和重要性的问题。现有方法在评审过程中往往难以客观评估研究的实际影响。

核心思路：论文的核心思路是利用GPT-4o模型对论文进行评审，重点考察其在判断正确性和表述方面的能力，而非原创性和重要性。

技术框架：研究首先收集2024年AFA和NBER金融会议的论文，然后使用GPT-4o进行评审，最后将模型的评审结果与未来两年内的发表情况进行对比分析。

关键创新：本文的创新点在于明确区分了模型在评审中的不同功能，指出LLMs能够有效判断论文的正确性，但无法评估其学术贡献，这一发现为同行评审提供了新的视角。

关键设计：在实验中，模型的参数设置和评审标准经过精心设计，确保其判断的客观性和一致性，特别是在对正确性和表述的评估上。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，GPT-4o模型评分高出一个标准差的论文，其在顶级金融期刊的发表概率提高了44%。这一发现表明，LLMs在评审过程中能够有效判断论文的正确性，但对其学术贡献的评估仍需依赖人工判断。

🎯 应用场景

该研究的潜在应用领域包括学术期刊的同行评审流程优化、科研成果的质量控制以及学术界对LLMs的合理使用。通过将LLMs应用于技术检查，可以减轻评审者的负担，使其能够更专注于研究的贡献和重要性，从而提高评审效率和质量。

📄 摘要（原文）

Referees increasingly use large language models (LLMs), while finance and accounting journals disagree about whether to allow it. We ask which part of a referee's job the models can do. GPT-4o, whose training data end before the 2024 conference season, referees the papers presented at the 2024 AFA and NBER finance meetings, and we compare its verdicts with publication in the top-three finance journals over the next two years. Papers the model scores one standard deviation higher are 44\% more likely to be published, net of author reputation. The result is not driven by look-ahead bias, as the model does not recall the outcomes. The information comes from its judgements of correctness and exposition. Its judgements of originality and significance carry none, and a referee guide that stresses importance does not help. The split between correctness and contribution holds for accounting papers and for a newer model, GPT-5. LLMs can check whether research is right, but not whether it matters. The technical check can go to the model, while the judgement of contribution stays with people.