Way to Specialist: Closing Loop Between Specialized LLM and Evolving Domain Knowledge Graph

📄 arXiv: 2411.19064v1 📥 PDF

作者: Yutong Zhang, Lixing Chen, Shenghong Li, Nan Cao, Yang Shi, Jiaxin Ding, Zhe Qu, Pan Zhou, Yang Bai

分类: cs.CL, cs.AI

发布日期: 2024-11-28

备注: Accepted by KDD 2025

💡 一句话要点

提出Way-to-Specialist框架以解决LLM在专业知识推理中的不足

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 知识图谱 专业推理 检索增强生成 领域特定训练 双向增强 模型演化

📋 核心要点

  1. 现有的通用LLMs在需要专业知识的推理任务中表现不足，且专业LLMs的训练成本高昂。
  2. 本文提出的WTS框架结合了检索增强生成与知识图谱，形成了双向增强的LLM与DKG的协同机制。
  3. 实验结果表明，WTS在4个专业领域超越了现有的最优技术，性能提升最大达到11.3%。

📝 摘要（中文）

大型语言模型（LLMs）在多个领域表现出色，但在需要专业知识的推理任务中仍显不足。以往对专业LLMs的研究主要集中在领域特定训练上，需大量领域数据和模型参数微调。为此，本文提出了Way-to-Specialist（WTS）框架，通过检索增强生成与知识图谱（KGs）的结合，提升LLMs的专业能力，而无需专业训练。WTS提出了创新的“LLM↔KG”范式，实现了专业LLM与领域知识图谱（DKG）之间的双向增强。该框架包括DKG增强的LLM和LLM辅助的DKG演化两个紧密耦合的组件，验证结果显示WTS在5个领域的6个数据集上超越了之前的SOTA，最大性能提升达11.3%。

🔬 方法详解

问题定义：本文旨在解决通用LLMs在专业知识推理任务中的不足，现有方法主要依赖领域特定训练，导致数据获取和模型微调的高成本。

核心思路：WTS框架通过结合检索增强生成与知识图谱，提出了“LLM↔KG”的双向增强机制，旨在提升LLMs的专业推理能力。

技术框架：WTS框架包括两个主要组件：DKG增强的LLM和LLM辅助的DKG演化。前者从DKG中检索相关知识以增强LLM的推理能力，后者利用LLM生成新知识以促进DKG的演化。

关键创新：WTS的核心创新在于实现了专业LLM与DKG之间的双向增强，区别于以往仅依赖静态知识图谱的单向推理方式。

关键设计：在设计中，WTS采用了动态知识检索和生成机制，确保LLM能够实时获取和更新领域知识，具体的参数设置和损失函数设计尚未详述。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，WTS在5个领域的6个数据集上表现优异，超越了之前的最优技术（SOTA），在4个专业领域的性能提升最大达到11.3%。这一结果验证了WTS框架在专业知识推理任务中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在医疗、法律、金融等需要专业知识的领域。通过提升LLMs的专业推理能力，WTS框架能够帮助专业人士更高效地获取信息和做出决策，未来可能推动智能助手和自动化系统的发展。

📄 摘要（原文）

Large language models (LLMs) have demonstrated exceptional performance across a wide variety of domains. Nonetheless, generalist LLMs continue to fall short in reasoning tasks necessitating specialized knowledge. Prior investigations into specialized LLMs focused on domain-specific training, which entails substantial efforts in domain data acquisition and model parameter fine-tuning. To address these challenges, this paper proposes the Way-to-Specialist (WTS) framework, which synergizes retrieval-augmented generation with knowledge graphs (KGs) to enhance the specialized capability of LLMs in the absence of specialized training. In distinction to existing paradigms that merely utilize external knowledge from general KGs or static domain KGs to prompt LLM for enhanced domain-specific reasoning, WTS proposes an innovative "LLM$\circlearrowright$KG" paradigm, which achieves bidirectional enhancement between specialized LLM and domain knowledge graph (DKG). The proposed paradigm encompasses two closely coupled components: the DKG-Augmented LLM and the LLM-Assisted DKG Evolution. The former retrieves question-relevant domain knowledge from DKG and uses it to prompt LLM to enhance the reasoning capability for domain-specific tasks; the latter leverages LLM to generate new domain knowledge from processed tasks and use it to evolve DKG. WTS closes the loop between DKG-Augmented LLM and LLM-Assisted DKG Evolution, enabling continuous improvement in the domain specialization as it progressively answers and learns from domain-specific questions. We validate the performance of WTS on 6 datasets spanning 5 domains. The experimental results show that WTS surpasses the previous SOTA in 4 specialized domains and achieves a maximum performance improvement of 11.3%.