Large Language Models for Automated Literature Review: An Evaluation of Reference Generation, Abstract Writing, and Review Composition

📄 arXiv: 2412.13612v5 📥 PDF

作者: Xuemei Tang, Xufeng Duan, Zhenguang G. Cai

分类: cs.CL, cs.AI

发布日期: 2024-12-18 (更新: 2025-08-21)

备注: 12 pages, 5 figures, 5 tables, Accepted by EMNLP 2025 Main Conference

💡 一句话要点

评估大型语言模型在文献综述自动化中的能力：参考文献生成、摘要撰写和综述构建

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文献综述 自动化 评估框架 幻觉问题

📋 核心要点

  1. 现有文献综述写作过程复杂，依赖人工，效率低且易出错，亟需自动化解决方案。
  2. 该研究提出一个评估框架，针对参考文献生成、摘要撰写和综述构建三个关键任务，评估LLMs的性能。
  3. 实验结果表明，现有LLMs在参考文献生成中仍存在幻觉问题，且在不同学科的综述写作中表现各异。

📝 摘要（中文）

大型语言模型（LLMs）已成为自动化文献综述写作复杂过程（如文献收集、组织和总结）的潜在解决方案。然而，LLMs在自动化全面且可靠的文献综述方面的能力尚不清楚。本研究提出了一个框架，用于自动评估LLMs在文献写作的三个关键任务中的表现：参考文献生成、文献摘要和文献综述构建。我们引入了多维评估指标，评估生成参考文献中的幻觉率，并衡量文献摘要和综述相对于人工撰写内容的语义覆盖率和事实一致性。实验结果表明，尽管最近取得了进展，但即使是最先进的模型仍然会生成幻觉参考文献。此外，我们观察到，在撰写文献综述时，不同模型的性能因学科而异。这些发现强调需要进一步的研究和开发，以提高LLMs在自动化学术文献综述中的可靠性。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLMs）在自动化文献综述写作中的能力，具体包括参考文献生成、文献摘要和文献综述构建三个关键任务。现有方法依赖人工，效率低且易出错。现有LLM在这些任务上的表现尚不明确，尤其是在生成参考文献的真实性和综述的事实一致性方面存在挑战。

核心思路：论文的核心思路是构建一个自动评估框架，通过多维评估指标来衡量LLMs在文献综述写作任务中的表现。该框架旨在量化LLMs生成的参考文献的幻觉率，以及文献摘要和综述的语义覆盖率和事实一致性。通过与人工撰写的内容进行比较，评估LLMs的可靠性和适用性。

技术框架：该研究的技术框架主要包含三个阶段：1) 使用LLMs生成参考文献、文献摘要和文献综述；2) 使用多维评估指标对生成的内容进行评估，包括幻觉率、语义覆盖率和事实一致性；3) 分析实验结果，比较不同LLMs在不同任务和学科上的表现。评估指标包括：参考文献的有效性（是否存在捏造的参考文献），摘要和综述的语义覆盖率（是否涵盖了原文的关键信息），以及摘要和综述的事实一致性（是否与原文的事实相符）。

关键创新：该研究的关键创新在于提出了一个针对LLMs在文献综述写作任务中的自动评估框架，并设计了多维评估指标来量化LLMs的性能。该框架能够全面评估LLMs在参考文献生成、文献摘要和文献综述构建方面的能力，并揭示了现有LLMs在这些任务中存在的不足。

关键设计：该研究的关键设计包括：1) 选择了多个具有代表性的LLMs进行评估；2) 针对不同的文献综述写作任务，设计了相应的评估指标；3) 采用了人工评估和自动评估相结合的方法，以确保评估结果的准确性和可靠性。具体参数设置和损失函数取决于所使用的LLM模型，论文中未详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是最先进的LLMs在参考文献生成方面仍然存在幻觉问题，这表明LLMs在生成可靠的学术内容方面仍有改进空间。此外，研究发现不同LLMs在不同学科的文献综述写作中表现各异，这提示我们需要针对不同学科领域定制LLMs，以提高其性能和适用性。

🎯 应用场景

该研究成果可应用于自动化文献综述写作工具的开发，帮助研究人员更高效地进行文献调研和知识整理。通过提升LLMs在参考文献生成和综述构建方面的可靠性，可以减少人工干预，提高文献综述的质量和效率。未来，该研究可扩展到其他学术写作任务，例如论文初稿撰写、研究报告生成等。

📄 摘要（原文）

Large language models (LLMs) have emerged as a potential solution to automate the complex processes involved in writing literature reviews, such as literature collection, organization, and summarization. However, it is yet unclear how good LLMs are at automating comprehensive and reliable literature reviews. This study introduces a framework to automatically evaluate the performance of LLMs in three key tasks of literature writing: reference generation, literature summary, and literature review composition. We introduce multidimensional evaluation metrics that assess the hallucination rates in generated references and measure the semantic coverage and factual consistency of the literature summaries and compositions against human-written counterparts. The experimental results reveal that even the most advanced models still generate hallucinated references, despite recent progress. Moreover, we observe that the performance of different models varies across disciplines when it comes to writing literature reviews. These findings highlight the need for further research and development to improve the reliability of LLMs in automating academic literature reviews.