WisPerMed at BioLaySumm: Adapting Autoregressive Large Language Models for Lay Summarization of Scientific Articles

📄 arXiv: 2405.11950v2 📥 PDF

作者: Tabea M. G. Pakull, Hendrik Damm, Ahmad Idrissi-Yaghir, Henning Schäfer, Peter A. Horn, Christoph M. Friedrich

分类: cs.CL, cs.LG

发布日期: 2024-05-20 (更新: 2024-09-23)

备注: 4 pages, 6 figure, 3 tables, acctepted at: BIONLP 2024 and Shared Tasks @ ACL 2024

💡 一句话要点

WisPerMed团队利用微调LLM解决生物医学领域科研文章的通俗化摘要生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 通俗化摘要 生物医学 指令调优 少样本学习 提示工程 动态专家选择

📋 核心要点

  1. 现有方法难以将复杂的生物医学科研文章转化为非专业人士易于理解的通俗化摘要，存在可读性和准确性挑战。
  2. 通过微调BioMistral和Llama3等大型语言模型，并结合指令调优、少样本学习和提示工程等技术，提升摘要生成质量。
  3. 实验结果表明，微调能显著提升摘要性能，少样本学习有助于生成更相关和准确的文本，团队最终排名第四。

📝 摘要（中文）

本文详细介绍了WisPerMed团队在BioLaySumm2024共享任务中，针对生物医学领域自动生成通俗化摘要的工作。该任务旨在使科研出版物对非专业人士更易于理解。研究团队对大型语言模型（LLM），特别是BioMistral和Llama3模型进行了微调，并利用它们从复杂的科学文本中生成通俗化摘要。通过多种方法增强了摘要生成性能，包括指令调优、少样本学习以及针对特定上下文信息的提示变体。实验表明，微调通常在大多数评估指标上都能获得最佳性能。少样本学习显著提高了模型生成相关且事实准确文本的能力，尤其是在使用精心设计的提示时。此外，还开发了一种动态专家选择（DES）机制，以根据可读性和事实性指标优化文本输出的选择。在54个参与者中，WisPerMed团队在可读性、事实性和相关性方面排名第四。根据总分，我们的方法比基线提高了约5.5个百分点，仅落后第一名约1.5个百分点。

🔬 方法详解

问题定义：论文旨在解决生物医学领域科研文章的通俗化摘要生成问题。现有方法难以生成既易于理解又保持科学准确性的摘要，导致非专业人士难以获取科研成果的信息。痛点在于如何平衡可读性、相关性和事实准确性，并有效利用大型语言模型的能力。

核心思路：论文的核心思路是利用微调的大型语言模型，结合指令调优、少样本学习和提示工程，使模型能够更好地理解科学文本并生成通俗易懂的摘要。通过动态专家选择机制，进一步优化摘要的可读性和事实准确性。

技术框架：整体框架包括以下几个主要阶段：1) 数据准备：收集和处理生物医学领域的科研文章和对应的通俗化摘要；2) 模型选择：选择BioMistral和Llama3等大型语言模型作为基础模型；3) 模型微调：使用准备好的数据对模型进行微调，使其适应通俗化摘要生成任务；4) 提示工程：设计不同的提示模板，引导模型生成特定风格的摘要；5) 动态专家选择：根据可读性和事实准确性指标，选择最佳的摘要输出。

关键创新：论文的关键创新在于结合了微调、少样本学习和动态专家选择等多种技术，以提升通俗化摘要的质量。动态专家选择机制能够根据可读性和事实准确性指标，自动选择最佳的摘要输出，从而提高整体性能。

关键设计：在模型微调方面，采用了指令调优的方法，通过提供明确的指令，引导模型生成符合要求的摘要。在少样本学习方面，精心设计了提示模板，包含少量示例，帮助模型更好地理解任务要求。动态专家选择机制使用可读性（例如Flesch Reading Ease）和事实准确性（例如基于知识图谱的验证）作为选择指标。

🖼️ 关键图片

fig_0

📊 实验亮点

WisPerMed团队在BioLaySumm2024共享任务中排名第四，证明了该方法的有效性。实验结果表明，微调能够显著提升摘要性能，少样本学习有助于生成更相关和准确的文本。相较于基线方法，该方法在总分上提高了约5.5个百分点，仅落后第一名约1.5个百分点。动态专家选择机制也有效提升了摘要的可读性和事实准确性。

🎯 应用场景

该研究成果可应用于生物医学信息传播领域，帮助非专业人士理解科研进展，促进科学知识的普及。此外，该方法也可推广到其他专业领域的通俗化摘要生成，例如法律、金融等，具有广泛的应用前景和实际价值。未来，可以进一步研究如何自动评估摘要的事实准确性，并提高模型的泛化能力。

📄 摘要（原文）

This paper details the efforts of the WisPerMed team in the BioLaySumm2024 Shared Task on automatic lay summarization in the biomedical domain, aimed at making scientific publications accessible to non-specialists. Large language models (LLMs), specifically the BioMistral and Llama3 models, were fine-tuned and employed to create lay summaries from complex scientific texts. The summarization performance was enhanced through various approaches, including instruction tuning, few-shot learning, and prompt variations tailored to incorporate specific context information. The experiments demonstrated that fine-tuning generally led to the best performance across most evaluated metrics. Few-shot learning notably improved the models' ability to generate relevant and factually accurate texts, particularly when using a well-crafted prompt. Additionally, a Dynamic Expert Selection (DES) mechanism to optimize the selection of text outputs based on readability and factuality metrics was developed. Out of 54 participants, the WisPerMed team reached the 4th place, measured by readability, factuality, and relevance. Determined by the overall score, our approach improved upon the baseline by approx. 5.5 percentage points and was only approx 1.5 percentage points behind the first place.