Highlighting Case Studies in LLM Literature Review of Interdisciplinary System Science

📄 arXiv: 2503.16515v1 📥 PDF

作者: Lachlan McGinness, Peter Baumgartner

分类: cs.CL, cs.AI

发布日期: 2025-03-16

期刊: AI 2024: 37th Australasian Joint Conference on Artificial Intelligence, Melbourne, 2024

DOI: 10.1007/978-981-96-0348-0_3

💡 一句话要点

利用大型语言模型辅助跨学科系统科学的文献综述案例研究

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文献综述 系统科学 语义相似性 案例研究

📋 核心要点

  1. 传统系统文献综述耗时耗力，缺乏高效工具辅助研究人员快速提取和总结关键信息。
  2. 利用LLM自动提取论文中的证据，并回答预设的研究问题，辅助研究人员进行文献综述。
  3. 实验结果表明，LLM在引用再现和问题回答方面表现良好，为文献综述提供了新的可能性。

📝 摘要（中文）

本文探讨了使用大型语言模型（LLM）辅助联邦科学与工业研究组织（CSIRO）的四位研究人员进行系统文献综述（SLR）的性能。通过案例研究，评估了LLM在SLR任务中的表现，并探索了改变参数对LLM响应准确性的影响。LLM的任务是从选定的学术论文中提取证据，以回答特定的研究问题。评估了模型在忠实再现文献引用的能力，并邀请领域专家评估模型回答研究问题的性能。开发了一种语义文本高亮工具，以方便专家审查LLM的响应。研究发现，最先进的LLM能够以超过95%的准确率再现文本中的引用，并以大约83%的准确率回答研究问题。使用专家评审和LLM答案与专家答案的Transformer嵌入的余弦相似度两种方法来确定LLM响应的正确性。这两种方法之间的相关性范围为0.48到0.77，证明了后者是衡量语义相似性的有效指标。

🔬 方法详解

问题定义：本文旨在解决跨学科系统科学研究中，传统文献综述方法效率低下的问题。现有方法依赖人工阅读和总结，耗时且容易出错，难以应对海量文献信息。研究人员需要一种高效、准确的工具来辅助文献综述，快速提取关键信息并回答研究问题。

核心思路：本文的核心思路是利用大型语言模型（LLM）的强大文本理解和生成能力，自动化文献综述过程。通过将LLM应用于文献证据提取和问题回答，旨在减轻研究人员的负担，提高文献综述的效率和准确性。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 选择合适的LLM模型；2) 针对特定的研究问题，设计合适的prompt；3) 利用LLM从选定的学术论文中提取相关证据；4) 使用语义文本高亮工具辅助专家评审LLM的响应；5) 通过专家评审和余弦相似度两种方法评估LLM的性能。

关键创新：本文的关键创新在于将LLM应用于跨学科系统科学的文献综述，并验证了其可行性和有效性。此外，还开发了一种语义文本高亮工具，方便专家评审LLM的响应，并提出使用Transformer嵌入的余弦相似度作为衡量语义相似性的指标。

关键设计：研究中，LLM的选择和prompt的设计至关重要。研究人员探索了不同参数对LLM响应准确性的影响，并针对不同的研究问题设计了不同的prompt。此外，语义文本高亮工具的设计也考虑了用户体验，方便专家快速定位和评估LLM提取的证据。

📊 实验亮点

实验结果表明，最先进的LLM能够以超过95%的准确率再现文本中的引用，并以大约83%的准确率回答研究问题。专家评审和余弦相似度两种方法评估结果的相关性范围为0.48到0.77，验证了余弦相似度作为语义相似性度量的有效性。这些结果表明LLM在辅助文献综述方面具有巨大的潜力。

🎯 应用场景

该研究成果可应用于各种需要进行系统文献综述的领域，例如医学、工程、社会科学等。通过利用LLM辅助文献综述，可以显著提高研究效率，加速知识发现，并为决策提供更可靠的依据。未来，该方法有望与知识图谱等技术结合，构建更智能化的文献综述系统。

📄 摘要（原文）

Large Language Models (LLMs) were used to assist four Commonwealth Scientific and Industrial Research Organisation (CSIRO) researchers to perform systematic literature reviews (SLR). We evaluate the performance of LLMs for SLR tasks in these case studies. In each, we explore the impact of changing parameters on the accuracy of LLM responses. The LLM was tasked with extracting evidence from chosen academic papers to answer specific research questions. We evaluate the models' performance in faithfully reproducing quotes from the literature and subject experts were asked to assess the model performance in answering the research questions. We developed a semantic text highlighting tool to facilitate expert review of LLM responses. We found that state of the art LLMs were able to reproduce quotes from texts with greater than 95% accuracy and answer research questions with an accuracy of approximately 83%. We use two methods to determine the correctness of LLM responses; expert review and the cosine similarity of transformer embeddings of LLM and expert answers. The correlation between these methods ranged from 0.48 to 0.77, providing evidence that the latter is a valid metric for measuring semantic similarity.