LatteReview: A Multi-Agent Framework for Systematic Review Automation Using Large Language Models

📄 arXiv: 2501.05468v2 📥 PDF

作者: Pouria Rouzrokh, Bardia Khosravi, Parsa Rouzrokh, Moein Shariatnia

分类: cs.CL

发布日期: 2025-01-05 (更新: 2025-10-08)

备注: 31 pages, 5 figures, 5 tables

💡 一句话要点

LatteReview：一个基于大型语言模型的多智能体系统综述自动化框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 系统性综述 大型语言模型 多智能体系统 自动化 文献筛选

📋 核心要点

  1. 系统性综述耗时费力，现有方法难以高效处理海量文献的筛选、评估和数据提取。
  2. LatteReview利用多智能体系统和大型语言模型，自动化综述流程，实现高效的文献筛选和数据提取。
  3. LatteReview框架支持多种LLM，并集成了RAG、多模态审查等功能，可处理大规模数据集。

📝 摘要（中文）

系统性文献综述和Meta分析对于综合研究成果至关重要，但由于筛选、评估和数据提取的迭代过程，它们仍然耗时且劳动密集。本文介绍并评估了LatteReview，这是一个基于Python的框架，它利用大型语言模型（LLM）和多智能体系统来自动化系统综述过程的关键要素。LatteReview旨在简化工作流程并保持严谨性，它利用模块化智能体来执行诸如标题和摘要筛选、相关性评分和结构化数据提取等任务。这些智能体在精心安排的工作流程中运行，支持顺序和并行审查轮次、动态决策以及基于用户反馈的迭代改进。LatteReview的架构集成了LLM提供商，从而可以与基于云的和本地托管的模型兼容。该框架支持诸如检索增强生成（RAG）以整合外部上下文、多模态审查、基于Pydantic的验证以实现结构化输入和输出以及用于处理大规模数据集的异步编程等功能。该框架可在GitHub存储库中找到，其中包含详细的文档和可安装的软件包。

🔬 方法详解

问题定义：系统性文献综述是科学研究的重要组成部分，但传统方法需要人工进行大量的文献筛选、评估和数据提取工作，耗时且容易出错。现有的自动化方法在处理复杂文献和进行高质量数据提取方面存在局限性，无法满足日益增长的科研需求。

核心思路：LatteReview的核心思路是利用大型语言模型（LLM）强大的自然语言处理能力，结合多智能体系统的协作机制，将系统性综述过程分解为多个可自动化执行的任务。通过智能体之间的协同工作，实现高效、准确的文献筛选、相关性评估和数据提取。

技术框架：LatteReview框架包含多个模块化智能体，每个智能体负责特定的任务，例如标题和摘要筛选、相关性评分、数据提取等。这些智能体在预定义的工作流程中运行，支持顺序和并行处理。框架还集成了LLM提供商接口，支持云端和本地部署的LLM。此外，框架还支持检索增强生成（RAG）、多模态审查、基于Pydantic的验证和异步编程等功能。

关键创新：LatteReview的关键创新在于其多智能体架构和对LLM的灵活运用。通过将综述过程分解为多个智能体任务，实现了任务的并行化和自动化。同时，框架支持多种LLM，并集成了RAG等技术，提高了综述的质量和效率。

关键设计：LatteReview的关键设计包括智能体之间的通信机制、工作流程的定义、LLM的选择和配置、RAG的实现方式以及数据验证的策略。框架使用Pydantic进行数据验证，确保输入和输出的结构化和一致性。异步编程用于处理大规模数据集，提高处理效率。

📊 实验亮点

论文提出了一个基于LLM的多智能体框架LatteReview，用于自动化系统性文献综述。框架集成了RAG、多模态审查等功能，并支持大规模数据集的异步处理。虽然论文中没有给出具体的性能数据，但该框架的设计理念和功能集成，预示着其在提高文献综述效率和质量方面具有显著潜力。

🎯 应用场景

LatteReview可应用于医学、工程、社会科学等多个领域，加速科研成果的总结和应用。该框架能够显著减少研究人员在文献综述上花费的时间和精力，提高科研效率，并促进跨学科研究的开展。未来，LatteReview有望成为科研人员进行系统性文献综述的有力工具。

📄 摘要（原文）

Systematic literature reviews and meta-analyses are essential for synthesizing research insights, but they remain time-intensive and labor-intensive due to the iterative processes of screening, evaluation, and data extraction. This paper introduces and evaluates LatteReview, a Python-based framework that leverages large language models (LLMs) and multi-agent systems to automate key elements of the systematic review process. Designed to streamline workflows while maintaining rigor, LatteReview utilizes modular agents for tasks such as title and abstract screening, relevance scoring, and structured data extraction. These agents operate within orchestrated workflows, supporting sequential and parallel review rounds, dynamic decision-making, and iterative refinement based on user feedback. LatteReview's architecture integrates LLM providers, enabling compatibility with both cloud-based and locally hosted models. The framework supports features such as Retrieval-Augmented Generation (RAG) for incorporating external context, multimodal reviews, Pydantic-based validation for structured inputs and outputs, and asynchronous programming for handling large-scale datasets. The framework is available on the GitHub repository, with detailed documentation and an installable package.