Benchmarking Resource-Efficient LLMs for Research Topic Ontology Generation in the Biomedical Field

📄 arXiv: 2607.17902v1 📥 PDF

作者: Tanay Aggarwal, Angelo Salatino, Francesco Osborne, Enrico Motta

分类: cs.DL, cs.CL

发布日期: 2026-07-20

💡 一句话要点

提出小型LLM以解决生物医学领域本体生成问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 生物医学本体 小型语言模型 自动化知识生成 语义关系识别 微调策略

📋 核心要点

  1. 现有的知识组织系统在手动维护上存在瓶颈，限制了科学知识的有效管理和利用。
  2. 本文提出通过评估小型LLMs在生物医学领域的语义关系识别能力，探索其在本体生成中的应用。
  3. 实验结果表明，针对性微调显著提升了模型性能，平均F1分数提高了34.1个百分点，验证了方法的有效性。

📝 摘要（中文）

知识组织系统如本体和分类法在科学知识结构化中至关重要，但其手动维护仍是知识管理的瓶颈。大型语言模型（LLMs）为自动化本体生成提供了可扩展的机制，但其在复杂领域特定语义分类中的能力需要系统评估。本文评估了五种小型开源LLMs（最多9亿参数）在识别生物医学概念之间语义关系的表现，并引入了MeSH-Rel-4K数据集，包含从医学主题词表（MeSH）提取的4000个语义关系。我们分析了三种适应策略：标准提示、思维链提示和微调。结果显示，针对性微调将平均F1分数提高了34.1个百分点，证明了直接微调有效克服了小型LLMs的推理瓶颈，为构建和演化专业生物医学本体提供了准确的自动化方法。

🔬 方法详解

问题定义：本文旨在解决生物医学领域本体生成中的语义关系识别问题，现有方法在处理复杂领域特定语义时存在性能不足的挑战。

核心思路：通过评估小型LLMs在识别生物医学概念之间的语义关系能力，结合不同的适应策略，尤其是针对性微调，以提高模型的推理能力。

技术框架：整体架构包括数据集构建（MeSH-Rel-4K）、模型选择（五种小型LLMs）、适应策略（标准提示、思维链提示、微调）和性能评估（F1分数）。

关键创新：最重要的创新在于通过针对性微调显著提升了小型LLMs的推理能力，克服了传统方法在复杂语义处理上的局限性。

关键设计：在微调过程中，采用了特定的损失函数和参数设置，以优化模型在生物医学语义关系识别上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，针对性微调将小型LLMs的平均F1分数提高了34.1个百分点，显著优于未微调的模型。这一提升验证了微调策略在处理生物医学领域复杂语义关系中的有效性，提供了更为准确的自动化本体生成方法。

🎯 应用场景

该研究的潜在应用领域包括生物医学知识管理、自动化文献分析和智能医疗系统。通过提高本体生成的效率和准确性，能够促进科学研究的进展和知识的有效传播，未来可能对医疗决策支持系统产生深远影响。

📄 摘要（原文）

Knowledge Organization Systems like Ontologies and taxonomies are fundamental for structuring scientific knowledge, yet their manual curation presents a persistent bottleneck in knowledge management. While Large Language Models (LLMs) offer a scalable mechanism for automated ontology generation, their capacity to classify complex, domain-specific semantics requires systematic evaluation. In this paper, we assess the performance of five small, open-source LLMs (up to 9 billion parameters) in identifying semantic relationships between biomedical concepts. To support this evaluation, we introduce MeSH-Rel-4K, a dataset comprising 4K semantic relationships extracted from the Medical Subject Headings (MeSH). We analyse three adaptation strategies: standard prompting, Chain-of-Thought prompting, and fine-tuning. While parameter-constrained models traditionally struggle with the nuances of in-context logic, our results reveal that targeted fine-tuning increases the average F1-score by 34.1 percentage points. These results confirm that direct fine-tuning effectively exceeds the reasoning bottlenecks of smaller LLMs, providing an accurate, automated methodology for the construction and evolution of specialised biomedical ontologies.