SylloBio-NLI: Evaluating Large Language Models on Biomedical Syllogistic Reasoning
作者: Magdalena Wysocka, Danilo Carvalho, Oskar Wysocki, Marco Valentino, Andre Freitas
分类: cs.CL
发布日期: 2024-10-18 (更新: 2025-02-10)
💡 一句话要点
提出SylloBio-NLI框架，评估大语言模型在生物医学三段论推理中的能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生物医学 三段论推理 自然语言推理 大型语言模型 知识图谱
📋 核心要点
- 现有方法在生物医学领域缺乏针对三段论推理的系统评估，限制了LLM在该领域的应用。
- SylloBio-NLI框架利用外部本体，系统地构建生物医学领域的三段论论证，用于评估LLM的推理能力。
- 实验表明，零样本LLM在生物医学三段论推理中表现不佳，但少样本提示可以显著提升性能。
📝 摘要（中文）
三段论推理对于自然语言推理（NLI）至关重要。这种能力在生物医学等专业领域尤为重要，它可以支持自动证据解释和科学发现。本文提出了SylloBio-NLI，这是一个新颖的框架，它利用外部本体系统地实例化生物医学NLI的各种三段论论证。我们使用SylloBio-NLI来评估大型语言模型（LLM）在识别有效结论和提取人类基因组通路的支持证据方面的能力。大量的实验表明，生物医学三段论推理对于零样本LLM来说尤其具有挑战性，其在广义肯定前件上的平均准确率约为70%，在析取三段论上约为23%。同时，我们发现少样本提示可以提高不同LLM的性能，包括Gemma（+14%）和LLama-3（+43%）。然而，更深入的分析表明，这两种技术都对表面的词汇变异表现出高度的敏感性，突出了可靠性、模型架构和预训练机制之间的依赖关系。总的来说，我们的结果表明，虽然上下文示例有可能激发LLM中的三段论推理，但现有模型距离实现安全生物医学NLI应用所需的鲁棒性和一致性还差得很远。
🔬 方法详解
问题定义：论文旨在评估大型语言模型（LLM）在生物医学领域进行三段论推理的能力。现有方法缺乏一个专门针对生物医学领域、能够系统性地生成三段论论证的框架，导致无法有效评估LLM在该领域的推理能力。现有的NLI数据集通常不够专业，无法充分测试LLM在生物医学领域的知识和推理能力。
核心思路：论文的核心思路是构建一个名为SylloBio-NLI的框架，该框架能够利用外部本体（例如基因组通路数据库）自动生成生物医学领域的三段论论证。通过使用这些论证，可以系统地评估LLM在生物医学领域的推理能力，并分析其在不同三段论模式下的表现。该方法的设计旨在弥补现有NLI数据集的不足，并提供一个更具挑战性和专业性的评估基准。
技术框架：SylloBio-NLI框架主要包含以下几个模块：1) 本体选择模块：选择合适的生物医学本体（例如人类基因组通路数据库）。2) 三段论模式实例化模块：根据预定义的三段论模式（例如肯定前件、否定后件等），利用本体中的概念和关系自动生成三段论论证。3) LLM评估模块：将生成的三段论论证输入到LLM中，评估其判断结论是否有效以及提取支持证据的能力。4) 结果分析模块：分析LLM在不同三段论模式下的表现，并探讨其对词汇变异的敏感性。
关键创新：该论文的关键创新在于提出了SylloBio-NLI框架，该框架能够利用外部本体系统地生成生物医学领域的三段论论证。与现有方法相比，SylloBio-NLI能够提供一个更具挑战性和专业性的评估基准，从而更有效地评估LLM在生物医学领域的推理能力。此外，该研究还深入分析了LLM在不同三段论模式下的表现，并探讨了其对词汇变异的敏感性，为改进LLM的推理能力提供了有价值的 insights。
关键设计：SylloBio-NLI框架的关键设计包括：1) 本体选择：选择了人类基因组通路数据库作为本体，以确保生成的三段论论证具有生物医学领域的专业性。2) 三段论模式：选择了28种不同的三段论模式，以全面评估LLM在不同推理模式下的表现。3) 评估指标：使用了准确率作为评估LLM判断结论是否有效的指标，并使用了F1值作为评估LLM提取支持证据能力的指标。4) 提示策略：采用了零样本和少样本提示策略，以探索不同提示策略对LLM性能的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，零样本LLM在生物医学三段论推理中表现不佳，平均准确率在肯定前件上为70%，在析取三段论上仅为23%。少样本提示可以显著提升LLM的性能，例如Gemma提升了14%，LLama-3提升了43%。然而，进一步分析表明，LLM对词汇变异非常敏感，表明其推理能力依赖于表面的词汇特征。
🎯 应用场景
该研究成果可应用于生物医学领域的自动证据解释、科学发现和临床决策支持。通过提高LLM在生物医学三段论推理方面的能力，可以帮助研究人员更有效地分析生物医学数据，发现新的科学规律，并为临床医生提供更可靠的决策依据。未来，该框架可以扩展到其他专业领域，例如法律和金融。
📄 摘要（原文）
Syllogistic reasoning is crucial for Natural Language Inference (NLI). This capability is particularly significant in specialized domains such as biomedicine, where it can support automatic evidence interpretation and scientific discovery. This paper presents SylloBio-NLI, a novel framework that leverages external ontologies to systematically instantiate diverse syllogistic arguments for biomedical NLI. We employ SylloBio-NLI to evaluate Large Language Models (LLMs) on identifying valid conclusions and extracting supporting evidence across 28 syllogistic schemes instantiated with human genome pathways. Extensive experiments reveal that biomedical syllogistic reasoning is particularly challenging for zero-shot LLMs, which achieve an average accuracy between 70% on generalized modus ponens and 23% on disjunctive syllogism. At the same time, we found that few-shot prompting can boost the performance of different LLMs, including Gemma (+14%) and LLama-3 (+43%). However, a deeper analysis shows that both techniques exhibit high sensitivity to superficial lexical variations, highlighting a dependency between reliability, models' architecture, and pre-training regime. Overall, our results indicate that, while in-context examples have the potential to elicit syllogistic reasoning in LLMs, existing models are still far from achieving the robustness and consistency required for safe biomedical NLI applications.