AI-Driven Scholarly Peer Review via Persistent Workflow Prompting, Meta-Prompting, and Meta-Reasoning
作者: Evgeny Markhasin
分类: cs.AI, physics.chem-ph
发布日期: 2025-05-06 (更新: 2025-07-08)
备注: 23 pages, 37 pages (references and appendixes)
💡 一句话要点
提出持久工作流提示（PWP）方法，提升LLM在学术同行评议中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 同行评审 提示工程 工作流提示 元提示 元推理 科学文献分析
📋 核心要点
- 现有LLM在科学手稿同行评审中面临数据限制和专家推理复杂性的挑战，难以进行批判性分析。
- 论文提出持久工作流提示（PWP）方法，通过预设详细分析流程，引导LLM进行系统性评估。
- 实验表明，PWP能有效提升LLM识别方法缺陷的能力，减轻输入偏差，并执行复杂的推理任务。
📝 摘要（中文）
科学手稿的关键同行评审对大型语言模型（LLM）提出了重大挑战，部分原因是数据限制和专家推理的复杂性。本报告介绍了一种潜在的广泛适用的提示工程方法，称为持久工作流提示（PWP），旨在通过标准LLM聊天界面（零代码，无API）弥合这一差距。我们提出了一个概念验证的PWP提示，用于对实验化学手稿进行批判性分析，其特点是分层、模块化的架构（通过Markdown构建），定义了详细的分析工作流程。我们通过迭代应用元提示技术和元推理来开发此PWP提示，旨在系统地编纂专家评审工作流程，包括隐性知识。此PWP提示在会话开始时提交一次，使LLM具备由后续查询触发的持久工作流程，从而引导现代推理LLM进行系统的多模态评估。演示表明，PWP引导的LLM识别了测试用例中的主要方法缺陷，同时减轻了LLM的输入偏差并执行了复杂的任务，包括区分声明与证据，整合文本/照片/图形分析以推断参数，执行定量可行性检查，将估计值与声明进行比较，以及评估先验合理性。为了确保透明度和促进复制，我们提供了完整的提示、详细的演示分析以及交互式聊天记录作为补充资源。除了具体的应用之外，这项工作还提供了对元开发过程本身的见解，突出了PWP在详细工作流程形式化的支持下，利用现成的LLM实现复杂科学任务的复杂分析的潜力。
🔬 方法详解
问题定义：现有大型语言模型（LLM）在执行学术同行评审任务时，面临着数据量不足以及专家推理过程复杂等问题。传统的LLM应用难以捕捉到专家评审中的隐性知识，并且容易受到输入偏差的影响，导致评审质量不高。
核心思路：论文的核心思路是利用提示工程，设计一种名为“持久工作流提示”（Persistent Workflow Prompting, PWP）的方法。该方法通过预先定义详细的分析工作流程，并将其以提示的形式输入LLM，从而引导LLM进行系统性的、多模态的评估。PWP旨在将专家评审的流程和知识显式地编码到提示中，使LLM能够像专家一样进行推理和判断。
技术框架：PWP方法的核心是一个分层、模块化的提示结构，使用Markdown进行组织。该结构定义了详细的分析工作流程，包括数据提取、证据识别、参数推断、可行性检查和合理性评估等步骤。用户只需在会话开始时提交一次PWP提示，后续的查询将触发PWP中定义的工作流程，引导LLM逐步完成评审任务。整个框架无需API调用，可以在标准的LLM聊天界面中使用。
关键创新：PWP方法的关键创新在于其“持久性”和“工作流”的概念。传统的提示工程通常是单次性的，而PWP则允许LLM在整个会话中保持对预定义工作流程的记忆。这种持久性使得LLM能够逐步积累信息，进行更深入的分析。此外，PWP通过明确定义工作流程，将复杂的评审任务分解为一系列可执行的步骤，从而降低了LLM的推理难度。
关键设计：PWP提示的关键设计包括：1) 使用Markdown进行结构化，提高可读性和可维护性；2) 采用分层模块化设计，允许灵活地定制和扩展工作流程；3) 通过元提示技术和元推理，系统地编纂专家评审的隐性知识；4) 针对特定领域（如实验化学）进行优化，提高评审的准确性和专业性。
📊 实验亮点
实验结果表明，PWP引导的LLM能够识别测试用例中的主要方法缺陷，减轻LLM的输入偏差，并执行复杂的任务，如区分声明与证据、整合文本/照片/图形分析以推断参数、执行定量可行性检查等。通过与基线方法对比，PWP在评审质量和效率方面均有显著提升。论文提供了完整的提示、详细的演示分析以及交互式聊天记录，方便复现。
🎯 应用场景
该研究成果可应用于自动化科学论文评审、辅助科研人员进行文献分析、以及提升LLM在复杂推理任务中的表现。通过PWP方法，可以降低同行评审的成本，提高评审效率，并减少人为偏见。未来，该方法有望推广到其他需要专家知识的领域，如医疗诊断、法律咨询等。
📄 摘要（原文）
Critical peer review of scientific manuscripts presents a significant challenge for Large Language Models (LLMs), partly due to data limitations and the complexity of expert reasoning. This report introduces Persistent Workflow Prompting (PWP), a potentially broadly applicable prompt engineering methodology designed to bridge this gap using standard LLM chat interfaces (zero-code, no APIs). We present a proof-of-concept PWP prompt for the critical analysis of experimental chemistry manuscripts, featuring a hierarchical, modular architecture (structured via Markdown) that defines detailed analysis workflows. We develop this PWP prompt through iterative application of meta-prompting techniques and meta-reasoning aimed at systematically codifying expert review workflows, including tacit knowledge. Submitted once at the start of a session, this PWP prompt equips the LLM with persistent workflows triggered by subsequent queries, guiding modern reasoning LLMs through systematic, multimodal evaluations. Demonstrations show the PWP-guided LLM identifying major methodological flaws in a test case while mitigating LLM input bias and performing complex tasks, including distinguishing claims from evidence, integrating text/photo/figure analysis to infer parameters, executing quantitative feasibility checks, comparing estimates against claims, and assessing a priori plausibility. To ensure transparency and facilitate replication, we provide full prompts, detailed demonstration analyses, and logs of interactive chats as supplementary resources. Beyond the specific application, this work offers insights into the meta-development process itself, highlighting the potential of PWP, informed by detailed workflow formalization, to enable sophisticated analysis using readily available LLMs for complex scientific tasks.