Evaluating Large Language Models for Structured Science Summarization in the Open Research Knowledge Graph

📄 arXiv: 2405.02105v1 📥 PDF

作者: Vladyslav Nechakhin, Jennifer D'Souza, Steffen Eger

分类: cs.AI, cs.CL, cs.IT

发布日期: 2024-05-03

备注: 22 pages, 11 figures. In review at https://www.mdpi.com/journal/information/special_issues/WYS02U2GTD

💡 一句话要点

评估大语言模型在开放研究知识图谱中用于结构化科学摘要的能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 结构化摘要 开放研究知识图谱 科学知识图谱 语义对齐

📋 核心要点

  1. 现有方法依赖人工标注结构化科学摘要，存在耗时费力且标注一致性难以保证的问题。
  2. 利用大型语言模型自动推荐属性，旨在降低人工成本并提高结构化摘要的效率和一致性。
  3. 通过多维度实验评估GPT-3.5、Llama 2和Mistral等LLM的性能，验证其作为推荐系统的潜力。

📝 摘要（中文）

结构化科学摘要或研究贡献，利用传统关键词之外的属性或维度，可以增强科学发现能力。目前的方法，例如开放研究知识图谱（ORKG）使用的方法，涉及手动管理属性以结构化地描述研究论文的贡献，但这既费力又导致领域专家人工标注的不一致。本文提出使用大型语言模型（LLM）自动推荐这些属性。然而，在应用之前，评估GPT-3.5、Llama 2和Mistral等LLM是否为此任务做好准备至关重要。本研究对ORKG手动管理的属性与上述最先进的LLM生成的属性进行了全面的比较分析。我们通过四个独特的视角评估LLM的性能：与ORKG属性的语义对齐和偏差、细粒度属性映射准确性、基于SciNCL嵌入的余弦相似度，以及专家调查比较手动标注与LLM输出。这些评估发生在多学科科学环境中。总的来说，LLM显示出作为结构化科学的推荐系统的潜力，但建议进一步微调以提高它们与科学任务的对齐以及模仿人类专业知识的能力。

🔬 方法详解

问题定义：论文旨在解决开放研究知识图谱（ORKG）中手动构建结构化科学摘要的效率和一致性问题。现有方法依赖领域专家手动标注论文属性，描述研究贡献，这种方式耗时且不同专家之间存在主观差异，导致摘要质量参差不齐。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大生成能力，自动推荐用于描述研究论文贡献的属性。通过将LLM作为推荐系统，期望降低人工成本，并提高结构化摘要的效率和一致性。

技术框架：论文采用对比评估框架，将LLM生成的属性与ORKG手动标注的属性进行比较。主要包含以下几个阶段：1) 使用LLM（GPT-3.5, Llama 2, Mistral）生成论文属性；2) 通过语义对齐、细粒度属性映射、SciNCL嵌入相似度以及专家评估等多个维度，对比LLM生成属性与人工标注属性的差异；3) 分析评估结果，得出LLM在结构化科学摘要任务中的表现。

关键创新：论文的关键创新在于系统性地评估了多个主流LLM在结构化科学摘要任务中的表现，并从多个角度分析了LLM生成属性与人工标注属性的差异。这种多维度的评估方法为后续研究提供了参考，有助于更好地理解LLM在科学领域的应用潜力。

关键设计：论文的关键设计包括：1) 采用语义对齐和偏差分析，评估LLM生成属性与ORKG属性的语义相关性；2) 使用细粒度属性映射，评估LLM生成属性的准确性；3) 利用SciNCL嵌入计算余弦相似度，评估LLM生成属性与人工标注属性的语义相似度；4) 通过专家调查，主观评估LLM生成属性的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究通过语义对齐、细粒度属性映射、SciNCL嵌入相似度以及专家评估等多个维度，全面评估了GPT-3.5、Llama 2和Mistral等LLM在结构化科学摘要任务中的表现。实验结果表明，LLM在一定程度上具备自动生成结构化摘要的能力，但仍需进一步微调以提高其与科学任务的对齐和模仿人类专业知识的能力。

🎯 应用场景

该研究成果可应用于自动构建科学知识图谱、提升科研论文的发现和理解效率、辅助科研人员进行文献综述和研究方向探索。通过自动化结构化摘要生成，可以降低人工成本，提高知识库构建效率，并促进科学知识的传播和利用。

📄 摘要（原文）

Structured science summaries or research contributions using properties or dimensions beyond traditional keywords enhances science findability. Current methods, such as those used by the Open Research Knowledge Graph (ORKG), involve manually curating properties to describe research papers' contributions in a structured manner, but this is labor-intensive and inconsistent between the domain expert human curators. We propose using Large Language Models (LLMs) to automatically suggest these properties. However, it's essential to assess the readiness of LLMs like GPT-3.5, Llama 2, and Mistral for this task before application. Our study performs a comprehensive comparative analysis between ORKG's manually curated properties and those generated by the aforementioned state-of-the-art LLMs. We evaluate LLM performance through four unique perspectives: semantic alignment and deviation with ORKG properties, fine-grained properties mapping accuracy, SciNCL embeddings-based cosine similarity, and expert surveys comparing manual annotations with LLM outputs. These evaluations occur within a multidisciplinary science setting. Overall, LLMs show potential as recommendation systems for structuring science, but further finetuning is recommended to improve their alignment with scientific tasks and mimicry of human expertise.