PROMPTHEUS: A Human-Centered Pipeline to Streamline SLRs with LLMs
作者: João Pedro Fernandes Torres, Catherine Mulligan, Joaquim Jorge, Catarina Moreira
分类: cs.AI
发布日期: 2024-10-21 (更新: 2024-10-22)
🔗 代码/项目: GITHUB
💡 一句话要点
PROMPTHEUS：利用LLM简化系统性文献综述的人工智能驱动流程
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 系统性文献综述 大型语言模型 自动化 主题建模 摘要生成 人工智能 BERTopic
📋 核心要点
- 传统系统性文献综述（SLR）方法耗时且易出错，难以应对快速增长的学术文献，尤其是在人工智能等领域。
- PROMPTHEUS利用大型语言模型（LLM）自动化SLR流程，旨在减少人工工作量，同时保证文献综述的精确性和连贯性。
- 实验结果表明，PROMPTHEUS能有效减少审查时间，实现高精度，并提供连贯的主题组织，适用于大规模文献综述。
📝 摘要（中文）
学术出版物数量的增长给研究人员进行及时和准确的系统性文献综述带来了重大挑战，尤其是在人工智能等快速发展的领域。学术文献的增长也使得普通人越来越难以有效地获取科学知识，这意味着学术文献经常被大众媒体甚至整个社会所曲解。传统SLR方法既费力又容易出错，并且难以跟上新研究的快速步伐。为了解决这些问题，我们开发了 extit{PROMPTHEUS}：一种AI驱动的流程解决方案，它使用大型语言模型来自动化SLR过程。我们的目标是通过减少人工工作量来提高效率，同时保持全面文献综合所需的精确性和连贯性。PROMPTHEUS自动化了SLR过程的关键阶段，包括系统搜索、数据提取、使用BERTopic的主题建模以及使用transformer模型的摘要。在五个研究领域进行的评估表明，PROMPTHEUS减少了审查时间，实现了高精度，并提供了连贯的主题组织，为在日益拥挤的研究环境中进行文献综述提供了一种可扩展且有效的解决方案。此外，此类工具可以通过使摘要更易于普通人理解来减少对科学日益增长的不信任感。
🔬 方法详解
问题定义：论文旨在解决系统性文献综述（SLR）过程中人工工作量大、效率低、易出错的问题。现有方法难以应对快速增长的学术文献，导致研究人员难以及时准确地进行文献综述，也使得非专业人士难以理解科学知识。
核心思路：论文的核心思路是利用大型语言模型（LLM）的强大能力，自动化SLR流程中的关键步骤，包括文献搜索、数据提取、主题建模和摘要生成。通过AI驱动的方式，减少人工干预，提高效率和准确性。
技术框架：PROMPTHEUS的整体架构是一个自动化流水线，包含以下主要模块：1) 系统搜索：自动执行文献检索；2) 数据提取：从检索到的文献中提取关键信息；3) 主题建模：使用BERTopic进行主题识别和组织；4) 摘要生成：使用Transformer模型生成文献摘要。这些模块协同工作，实现SLR流程的自动化。
关键创新：该方法最重要的创新点在于将大型语言模型（LLM）应用于系统性文献综述的自动化流程。通过LLM，可以更有效地进行文献筛选、信息提取和内容总结，从而显著减少人工工作量，并提高综述的质量和效率。
关键设计：论文中使用了BERTopic进行主题建模，这是一种基于Transformer的topic modeling技术，能够自动识别文档中的主题并进行组织。此外，论文还使用了Transformer模型进行摘要生成，具体使用的模型结构和训练细节未知。
🖼️ 关键图片
📊 实验亮点
在五个研究领域的评估中，PROMPTHEUS展现出显著的性能提升。实验结果表明，该方法能够有效减少文献综述所需的时间，同时保持较高的精度和连贯性。具体的性能数据和对比基线未知，但总体而言，PROMPTHEUS为大规模文献综述提供了一种可扩展且有效的解决方案。
🎯 应用场景
PROMPTHEUS可应用于各个研究领域，尤其是在人工智能、计算机科学等快速发展的领域，帮助研究人员高效地进行文献综述，把握研究动态。该工具还可用于向非专业人士提供更易理解的科学知识摘要，降低对科学的不信任感。未来，该方法可以扩展到其他类型的文档分析和知识发现任务。
📄 摘要（原文）
The growing volume of academic publications poses significant challenges for researchers conducting timely and accurate Systematic Literature Reviews, particularly in fast-evolving fields like artificial intelligence. This growth of academic literature also makes it increasingly difficult for lay people to access scientific knowledge effectively, meaning academic literature is often misrepresented in the popular press and, more broadly, in society. Traditional SLR methods are labor-intensive and error-prone, and they struggle to keep up with the rapid pace of new research. To address these issues, we developed \textit{PROMPTHEUS}: an AI-driven pipeline solution that automates the SLR process using Large Language Models. We aimed to enhance efficiency by reducing the manual workload while maintaining the precision and coherence required for comprehensive literature synthesis. PROMPTHEUS automates key stages of the SLR process, including systematic search, data extraction, topic modeling using BERTopic, and summarization with transformer models. Evaluations conducted across five research domains demonstrate that PROMPTHEUS reduces review time, achieves high precision, and provides coherent topic organization, offering a scalable and effective solution for conducting literature reviews in an increasingly crowded research landscape. In addition, such tools may reduce the increasing mistrust in science by making summarization more accessible to laypeople. The code for this project can be found on the GitHub repository at https://github.com/joaopftorres/PROMPTHEUS.git