D-NLP at SemEval-2024 Task 2: Evaluating Clinical Inference Capabilities of Large Language Models

📄 arXiv: 2405.04170v1 📥 PDF

作者: Duygu Altinok

分类: cs.CL

发布日期: 2024-05-07

备注: accepted to SemEval-2024, ranked 9th on Task 2

💡 一句话要点

D-NLP评估大型语言模型在临床试验报告推理任务中的能力，Gemini模型F1值达0.748。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 临床试验报告 自然语言推理 医学领域 性能评估

📋 核心要点

  1. 大型语言模型在医学领域的应用面临事实准确性、安全协议遵守和固有局限性等挑战。
  2. 该研究通过临床试验报告数据集，评估了多种开源和闭源LLM的自然语言推理能力。
  3. 实验结果表明，Gemini模型在测试集上取得了0.748的F1分数，验证了其在医学推理任务中的潜力。

📝 摘要（中文）

大型语言模型（LLM）因其在各种任务中的出色表现而备受关注和广泛应用。然而，它们也面临着幻觉、事实不一致以及数值-定量推理方面的局限性等挑战。评估LLM在各种推理任务中的能力仍然是一个活跃的研究领域。在LLM取得突破之前，Transformer已经在医学领域取得了成功，有效地应用于各种自然语言理解（NLU）任务。在此趋势之后，LLM也接受了医学领域的训练和应用，引发了对事实准确性、遵守安全协议和固有局限性的担忧。本文重点评估了使用临床试验报告作为数据集的流行开源和闭源LLM的自然语言推理能力。我们展示了每个LLM的性能结果，并进一步分析了它们在开发集上的性能，特别关注涉及医学缩写和需要数值-定量推理的具有挑战性的实例。我们的领先LLM Gemini 在测试集上取得了 0.748 的 F1 分数，在任务记分牌上名列第九。我们的工作是同类首创，对 LLM 在医学领域内的推理能力进行了彻底的检查。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLM）在临床试验报告上的自然语言推理能力。现有方法在医学领域应用LLM时，面临事实准确性、安全协议遵守以及数值-定量推理方面的局限性，导致模型可能产生幻觉或不一致的结论。

核心思路：论文的核心思路是利用临床试验报告作为数据集，系统性地评估各种流行的开源和闭源LLM在医学领域的推理能力。通过分析模型在处理医学缩写和需要数值推理的复杂实例时的表现，揭示LLM在医学领域的优势和不足。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 选择合适的临床试验报告数据集；2) 选择一系列流行的开源和闭源LLM进行评估；3) 设计评估指标，重点关注自然语言推理能力；4) 对LLM在开发集和测试集上的表现进行分析，特别是针对医学缩写和数值推理的挑战性实例；5) 对比不同LLM的性能，找出表现最佳的模型。

关键创新：该研究的关键创新在于首次系统性地评估了多种LLM在临床试验报告上的推理能力，并深入分析了模型在处理医学领域特定挑战时的表现。这为后续研究提供了宝贵的经验和基准，有助于推动LLM在医学领域的可靠应用。

关键设计：该研究的关键设计包括：1) 选择具有代表性的临床试验报告数据集，确保评估的全面性；2) 采用F1-score作为主要评估指标，衡量模型的准确性和召回率；3) 针对开发集进行详细的错误分析，识别模型在医学缩写和数值推理方面的不足；4) 对比不同LLM的性能，找出在医学领域表现最佳的模型，例如Gemini。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究评估了多种LLM在临床试验报告推理任务中的性能，Gemini模型在测试集上取得了0.748的F1分数，位列第九。研究重点分析了模型在处理医学缩写和数值推理方面的表现，揭示了LLM在医学领域的优势和不足。该研究是首次针对LLM在医学推理能力方面的系统性评估。

🎯 应用场景

该研究成果可应用于医疗决策支持系统、医学知识库构建、临床试验报告解读等领域。通过提升LLM在医学领域的推理能力，可以辅助医生进行诊断和治疗，提高医疗效率和质量，并加速新药研发进程。未来，该研究可扩展到其他医学文本类型，例如电子病历、医学文献等。

📄 摘要（原文）

Large language models (LLMs) have garnered significant attention and widespread usage due to their impressive performance in various tasks. However, they are not without their own set of challenges, including issues such as hallucinations, factual inconsistencies, and limitations in numerical-quantitative reasoning. Evaluating LLMs in miscellaneous reasoning tasks remains an active area of research. Prior to the breakthrough of LLMs, Transformers had already proven successful in the medical domain, effectively employed for various natural language understanding (NLU) tasks. Following this trend, LLMs have also been trained and utilized in the medical domain, raising concerns regarding factual accuracy, adherence to safety protocols, and inherent limitations. In this paper, we focus on evaluating the natural language inference capabilities of popular open-source and closed-source LLMs using clinical trial reports as the dataset. We present the performance results of each LLM and further analyze their performance on a development set, particularly focusing on challenging instances that involve medical abbreviations and require numerical-quantitative reasoning. Gemini, our leading LLM, achieved a test set F1-score of 0.748, securing the ninth position on the task scoreboard. Our work is the first of its kind, offering a thorough examination of the inference capabilities of LLMs within the medical domain.