ReviewPilot: A Multi-Agent System for Screening and Data Extraction in Systematic Reviews

📄 arXiv: 2610.21042v1 📥 PDF

作者: Zhaoqian Xue, Shaoze Zhou, Xuexin Li, Junting Mu, Haozheng Liu, Zhongyin Wang, Yichun He, Renkai Ma, Hao Zhou, Sarah Bratt, Siyuan Ma, Chen Chen, Lingyao Li

分类: cs.CL, cs.AI, cs.IR

发布日期: 2026-10-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReviewPilot以自动化系统评价中的文献筛选与数据提取

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 系统评价 文献筛选 数据提取 对话式系统 多代理系统 大型语言模型 流行病学 人工智能

📋 核心要点

  1. 现有的文献筛选和数据提取方法无法有效记录被排除的研究及提取值的来源，导致系统评价过程中的信息缺失。
  2. 本文提出ReviewPilot，一个对话式多代理系统，能够自动化PRISMA工作流程，支持研究人员定制筛选标准和信息提取模式。
  3. 在流行病学领域的实验中，ReviewPilot的筛选宏F1和提取F1分别达到0.776和0.788，显著优于现有方法，且在生物医学和人机交互领域表现出色。

📝 摘要（中文）

系统文献综述遵循PRISMA流程，对学术作品进行筛选并提取证据。基于大型语言模型的深度研究工具能够搜索和总结文献，但无法记录被排除的研究或提取值的来源。本文开发了一种名为ReviewPilot的对话式多代理系统，自动化从文献筛选到信息提取的PRISMA工作流程。研究人员可以通过对话定制标准和模式，项目记忆保持其配置和修订。每个筛选决策都有其理由，每个提取值都有其来源。在流行病学专家评审中，ReviewPilot在三个大型语言模型上超越了单提示LLM和AgentSLR，筛选宏F1达到0.776，提取F1达到0.788。生物医学和人机交互的案例研究显示与人工标注者的高度一致，表明ReviewPilot可以扩展到流行病学之外。代码可在https://github.com/ZhaoqianXue/ReviewPilot获取。

🔬 方法详解

问题定义：本文旨在解决现有文献筛选和数据提取方法在系统评价中无法有效记录被排除研究和提取值来源的问题。这导致了信息的缺失和研究的透明度降低。

核心思路：ReviewPilot通过构建一个对话式多代理系统，自动化PRISMA工作流程，允许研究人员在对话中定制筛选标准和信息提取模式，从而提高了系统评价的效率和准确性。

技术框架：ReviewPilot的整体架构包括多个模块：对话代理模块用于与研究人员交互，筛选决策模块记录每个筛选的理由，信息提取模块确保每个提取值都有明确来源，项目记忆模块保存用户配置和修订。

关键创新：ReviewPilot的主要创新在于其对话式交互和项目记忆功能，使得研究人员能够灵活调整筛选标准，并确保整个过程的透明性和可追溯性。这与传统的单一提示LLM方法有本质区别。

关键设计：系统设计中，关键参数包括对话的上下文管理、筛选标准的动态调整机制，以及信息提取的准确性评估方法。损失函数和网络结构的具体细节尚未公开，但系统在多个大型语言模型上进行了优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在流行病学专家评审中，ReviewPilot的筛选宏F1达到了0.776，提取F1达到了0.788，均显著优于单提示LLM和AgentSLR。这表明其在文献筛选和数据提取方面的有效性，且在生物医学和人机交互领域的案例研究中与人工标注者高度一致。

🎯 应用场景

ReviewPilot的潜在应用领域包括医学研究、社会科学、教育等需要系统评价的领域。其自动化的文献筛选和数据提取能力可以显著提高研究效率，降低人为错误，未来可能推动系统评价方法的标准化和普及。

📄 摘要（原文）

Systematic literature reviews follow the PRISMA process of screening scholarly works and extracting evidence from included studies. Deep research tools based on large language models (LLMs) can search and summarize the literature but do not record which studies are excluded or where extracted values come from. We develop a conversational multi-agent system called ReviewPilot that automates the PRISMA workflow from paper screening to information extraction. Researchers can tailor criteria and schemas through dialogue, and a project memory keeps their configurations and revisions. Each screening decision comes with its reason and each extracted value with its source. On epidemiological expert reviews, ReviewPilot outperforms a single-prompt LLM and AgentSLR across three LLMs, with screening macro F1 up to 0.776 and extraction F1 up to 0.788. Case studies in biomedicine and human-computer interaction show close agreement with human annotators, suggesting that ReviewPilot can transfer beyond epidemiology. Code is available at https://github.com/ZhaoqianXue/ReviewPilot.