A Comprehensive Evaluation of Large Language Models on Benchmark Biomedical Text Processing Tasks

📄 arXiv: 2310.04270v3 📥 PDF

作者: Israt Jahan, Md Tahmid Rahman Laskar, Chun Peng, Jimmy Huang

分类: cs.CL, cs.AI

发布日期: 2023-10-06 (更新: 2024-02-19)

备注: Accepted to the Computers in Biology and Medicine journal

💡 一句话要点

评估大型语言模型在生物医学文本处理任务中的表现

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 生物医学 文本处理 零-shot学习 模型评估 数据集 微调模型

📋 核心要点

  1. 现有研究尚未探讨大型语言模型在生物医学领域的应用能力，缺乏相关评估。
  2. 本文通过对四种流行LLM在六个生物医学任务上的表现进行全面评估，填补了这一空白。
  3. 实验结果显示，在小型训练集上，零-shot LLM的表现超过了微调模型，展示了LLM的潜力。

📝 摘要（中文）

近年来，大型语言模型（LLM）在解决多种任务方面表现出色。然而，之前尚无研究探讨其在生物医学领域的能力。本文旨在评估LLM在基准生物医学任务中的表现。我们对四种流行的LLM在26个数据集上的六个不同生物医学任务进行了全面评估。值得注意的是，在训练集较小的生物医学数据集中，零-shot LLM甚至超过了当前最先进的微调生物医学模型。这表明，LLM在大文本语料上的预训练使其在生物医学领域也具备了相当的专业性。尽管与在大训练集上微调的生物医学模型相比，LLM的表现仍然较差，但我们的发现表明，LLM在缺乏大量标注数据的生物医学任务中具有潜在的价值。

🔬 方法详解

问题定义：本文解决的问题是大型语言模型在生物医学文本处理任务中的表现评估。现有方法缺乏对LLM在生物医学领域的系统性研究，导致无法了解其实际能力和应用潜力。

核心思路：论文的核心思路是通过对四种流行的LLM进行全面评估，比较它们在不同生物医学任务上的表现，以揭示LLM在该领域的有效性和局限性。

技术框架：整体架构包括数据集选择、模型评估和结果分析三个主要模块。首先，选择26个生物医学数据集，然后在六个不同的任务上评估四种LLM，最后对结果进行比较和分析。

关键创新：最重要的技术创新点在于首次系统性地评估LLM在生物医学领域的表现，并发现零-shot LLM在小型数据集上的表现优于微调模型，这一发现挑战了传统的微调方法。

关键设计：在实验中，采用了多种评估指标来衡量模型性能，包括准确率、召回率和F1分数等。同时，确保了数据集的多样性，以全面反映LLM的能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在小型训练集的生物医学数据集中，零-shot LLM的表现超过了当前最先进的微调生物医学模型，展示了其在特定任务上的潜力。这一发现为未来的生物医学文本处理提供了新的思路和方法。

🎯 应用场景

该研究的潜在应用领域包括生物医学文本分析、临床数据挖掘和医学文献检索等。通过利用LLM的能力，可以在缺乏大量标注数据的情况下，提升生物医学领域的自动化处理水平，进而推动相关研究和应用的发展。

📄 摘要（原文）

Recently, Large Language Models (LLM) have demonstrated impressive capability to solve a wide range of tasks. However, despite their success across various tasks, no prior work has investigated their capability in the biomedical domain yet. To this end, this paper aims to evaluate the performance of LLMs on benchmark biomedical tasks. For this purpose, we conduct a comprehensive evaluation of 4 popular LLMs in 6 diverse biomedical tasks across 26 datasets. To the best of our knowledge, this is the first work that conducts an extensive evaluation and comparison of various LLMs in the biomedical domain. Interestingly, we find based on our evaluation that in biomedical datasets that have smaller training sets, zero-shot LLMs even outperform the current state-of-the-art fine-tuned biomedical models. This suggests that pretraining on large text corpora makes LLMs quite specialized even in the biomedical domain. We also find that not a single LLM can outperform other LLMs in all tasks, with the performance of different LLMs may vary depending on the task. While their performance is still quite poor in comparison to the biomedical models that were fine-tuned on large training sets, our findings demonstrate that LLMs have the potential to be a valuable tool for various biomedical tasks that lack large annotated data.