Fine-tuning and Prompt Engineering with Cognitive Knowledge Graphs for Scholarly Knowledge Organization

📄 arXiv: 2409.06433v1 📥 PDF

作者: Gollam Rabby, Sören Auer, Jennifer D'Souza, Allard Oelen

分类: cs.DL, cs.CL, cs.LG

发布日期: 2024-09-10

💡 一句话要点

利用认知知识图谱微调和提示工程，实现学术知识的有效组织与管理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知知识图谱 大型语言模型 学术知识组织 微调 提示工程 知识提取 开放研究知识图谱

📋 核心要点

  1. 现有方法难以有效组织和利用海量学术论文，仅依赖标题和摘要的信息不足。
  2. 利用大型语言模型(LLM)结合认知知识图谱(CKG)，实现学术文章的结构化分类和贡献描述。
  3. 通过微调LLM和提示工程，并结合领域专家验证的CKG数据，显著提高知识提取的准确性。

📝 摘要（中文）

每年发表的学术文章数量超过250万篇，这给研究人员跟踪科学进展带来了挑战。将学术文章的贡献整合到一种新型的认知知识图谱(CKG)中，将成为访问和组织学术知识的关键要素，超越标题和摘要所提供的见解。本研究侧重于通过利用大型语言模型(LLM)对学术文章进行分类，并以结构化和可比较的方式描述其贡献，从而有效地传递结构化的学术知识。虽然之前的研究探索了特定研究领域内的语言模型，但LLM捕获的广泛的领域无关知识为生成结构化的贡献描述(作为CKG)提供了巨大的机会。此外，LLM通过提示工程或微调提供可定制的途径，从而有助于利用以效率、成本效益和环境考虑因素而闻名的小型LLM。我们的方法包括利用LLM知识，并用来自CKG的领域专家验证的学术数据对其进行补充。这种战略融合显著提高了LLM的性能，尤其是在学术文章分类和谓词推荐等任务中。我们的方法包括使用CKG知识微调LLM，并通过一种新颖的提示技术注入来自CKG的知识，从而显著提高了学术知识提取的准确性。我们将我们的方法集成到开放研究知识图谱(ORKG)中，从而能够精确地访问有组织的学术知识，这对于决策者、行业从业者和公众之间的领域无关的学术知识交流和传播至关重要。

🔬 方法详解

问题定义：当前学术论文数量爆炸式增长，研究人员难以快速有效地获取和组织所需知识。传统方法依赖标题和摘要，信息量有限，无法深入理解论文贡献。现有方法缺乏对学术知识的结构化表示和推理能力，阻碍了知识的有效利用和传播。

核心思路：论文的核心思路是结合大型语言模型(LLM)和认知知识图谱(CKG)，利用LLM强大的自然语言理解和生成能力，从学术论文中提取结构化的知识，并将其存储在CKG中。同时，利用CKG中已有的知识对LLM进行微调和提示工程，提高LLM在学术知识提取任务中的准确性和效率。

技术框架：该方法主要包含以下几个阶段：1) 构建认知知识图谱(CKG)，包含学术论文的元数据、贡献、研究领域等信息。2) 利用LLM对学术论文进行分类和贡献描述，生成结构化的知识表示。3) 使用CKG中的知识对LLM进行微调，提高其在特定领域的性能。4) 通过提示工程，将CKG中的知识注入到LLM中，引导其生成更准确和相关的结果。5) 将提取的知识集成到开放研究知识图谱(ORKG)中，方便用户访问和利用。

关键创新：该方法的关键创新在于：1) 结合LLM和CKG，充分利用两者的优势，实现更有效的学术知识组织和管理。2) 提出了一种新颖的提示技术，将CKG中的知识注入到LLM中，显著提高了知识提取的准确性。3) 将该方法集成到ORKG中，为学术界提供了一个开放的知识共享平台。

关键设计：论文中关键的设计包括：1) CKG的构建方式，如何选择合适的实体和关系，以及如何进行知识融合。2) LLM的微调策略，如何选择合适的预训练模型和训练数据，以及如何设计损失函数。3) 提示工程的具体实现，如何设计有效的提示模板，以及如何选择合适的提示词。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该研究通过微调LLM并结合CKG知识，显著提高了学术知识提取的准确性。实验结果表明，该方法在学术文章分类和谓词推荐等任务上取得了显著的性能提升。具体数据未知，但强调了相对于传统方法，该方法在准确性方面有显著提高。

🎯 应用场景

该研究成果可应用于构建智能化的学术知识管理系统，帮助研究人员快速定位所需信息，跟踪研究进展。同时，可促进跨学科的知识交流与合作，为政策制定者和行业从业者提供决策支持。未来，该技术有望应用于教育领域，辅助学生进行文献综述和知识学习。

📄 摘要（原文）

The increasing amount of published scholarly articles, exceeding 2.5 million yearly, raises the challenge for researchers in following scientific progress. Integrating the contributions from scholarly articles into a novel type of cognitive knowledge graph (CKG) will be a crucial element for accessing and organizing scholarly knowledge, surpassing the insights provided by titles and abstracts. This research focuses on effectively conveying structured scholarly knowledge by utilizing large language models (LLMs) to categorize scholarly articles and describe their contributions in a structured and comparable manner. While previous studies explored language models within specific research domains, the extensive domain-independent knowledge captured by LLMs offers a substantial opportunity for generating structured contribution descriptions as CKGs. Additionally, LLMs offer customizable pathways through prompt engineering or fine-tuning, thus facilitating to leveraging of smaller LLMs known for their efficiency, cost-effectiveness, and environmental considerations. Our methodology involves harnessing LLM knowledge, and complementing it with domain expert-verified scholarly data sourced from a CKG. This strategic fusion significantly enhances LLM performance, especially in tasks like scholarly article categorization and predicate recommendation. Our method involves fine-tuning LLMs with CKG knowledge and additionally injecting knowledge from a CKG with a novel prompting technique significantly increasing the accuracy of scholarly knowledge extraction. We integrated our approach in the Open Research Knowledge Graph (ORKG), thus enabling precise access to organized scholarly knowledge, crucially benefiting domain-independent scholarly knowledge exchange and dissemination among policymakers, industrial practitioners, and the general public.