Supervised Fine Tuning of Large Language Models for Domain Specific Knowledge Graph Construction:A Case Study on Hunan's Historical Celebrities
作者: Junjie Hao, Chun Wang, Ying Qiao, Qiuyue Zuo, Qiya Song, Hua Ma, Xieping Gao
分类: cs.CL, cs.AI
发布日期: 2025-11-21
💡 一句话要点
针对领域知识图谱构建，提出基于监督微调的大语言模型方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 知识图谱构建 监督微调 领域知识抽取 指令调优 低资源场景 历史文化 湖南名人
📋 核心要点
- 通用大语言模型在低资源领域知识抽取和结构化输出生成方面表现欠佳，限制了其在特定历史文化研究中的应用。
- 设计了细粒度、模式引导的指令模板，并构建指令调优数据集，采用参数高效微调方法，提升模型在特定领域的性能。
- 实验结果表明，微调后所有模型性能均显著提升，其中 Qwen3-8B 模型表现最佳，验证了该方法在领域知识抽取中的有效性。
📝 摘要（中文）
本文研究了利用大语言模型和知识图谱促进历史文化研究，以湖湘文化塑造的湖南近现代历史名人为例，探索预训练大模型如何高效地从文本资源中提取关键信息（包括生平属性、生活事件和社会关系），并构建结构化知识图谱。针对湖南历史名人领域系统数据资源有限，通用模型在此类低资源环境下表现不佳的问题，本文提出了一种监督微调方法来增强领域特定信息抽取能力。首先，设计了针对湖南历史名人领域的细粒度、模式引导的指令模板，并构建了指令调优数据集，以缓解领域特定训练语料的缺乏。其次，将参数高效的指令微调应用于四个公开的大语言模型（Qwen2.5-7B、Qwen3-8B、DeepSeek-R1-Distill-Qwen-7B 和 Llama-3.1-8B-Instruct），并开发了评估标准来评估它们的抽取性能。实验结果表明，所有模型在微调后都表现出显著的性能提升。其中，Qwen3-8B 取得了最好的结果，在 100 个样本和 50 次训练迭代后达到了 89.3866 的分数。这项研究为微调垂直大语言模型以应用于区域历史文化领域提供了新的见解，并突出了它们在文化遗产知识提取和知识图谱构建中具有成本效益的应用潜力。
🔬 方法详解
问题定义：论文旨在解决在低资源场景下，通用大语言模型在湖南历史名人等特定领域知识图谱构建中表现不佳的问题。现有方法缺乏针对特定领域的训练数据，导致模型无法有效提取相关信息并生成结构化输出。
核心思路：论文的核心思路是通过监督微调，使大语言模型能够更好地适应特定领域的知识抽取任务。通过构建领域相关的指令调优数据集，并采用参数高效的微调方法，提升模型在特定领域的性能和泛化能力。
技术框架：整体框架包括以下几个主要阶段：1) 设计针对湖南历史名人领域的细粒度、模式引导的指令模板；2) 构建指令调优数据集，用于微调大语言模型；3) 选择并微调多个开源大语言模型（Qwen2.5-7B、Qwen3-8B、DeepSeek-R1-Distill-Qwen-7B 和 Llama-3.1-8B-Instruct）；4) 开发评估标准，评估微调后模型的抽取性能。
关键创新：论文的关键创新在于针对特定领域设计了细粒度的指令模板，并构建了相应的指令调优数据集。这种方法能够有效地引导大语言模型学习领域知识，并提升其在低资源场景下的知识抽取能力。与直接使用通用大语言模型相比，该方法能够更好地适应特定领域的需求，并获得更高的性能。
关键设计：指令模板的设计是关键。模板需要足够细粒度，能够覆盖领域内的各种实体和关系类型。同时，模板还需要具有一定的通用性，能够适应不同的文本输入。此外，参数高效微调方法的选择也很重要，能够在有限的计算资源下，最大程度地提升模型性能。实验中使用了不同的训练迭代次数（例如50次）和样本数量（例如100个样本）来评估模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过监督微调后，所有模型在湖南历史名人知识抽取任务上均取得了显著的性能提升。其中，Qwen3-8B 模型在 100 个样本和 50 次训练迭代后达到了 89.3866 的分数，表现最佳。这验证了该方法在领域知识抽取中的有效性，并表明通过微调可以显著提升大语言模型在特定领域的性能。
🎯 应用场景
该研究成果可应用于历史文化领域知识图谱的自动构建，例如地方志数字化、历史人物研究、文化遗产保护等。通过高效地从文本中提取关键信息，可以为相关研究提供数据支撑，并促进文化传承和发展。该方法也适用于其他低资源领域的知识图谱构建，具有广泛的应用前景。
📄 摘要（原文）
Large language models and knowledge graphs offer strong potential for advancing research on historical culture by supporting the extraction, analysis, and interpretation of cultural heritage. Using Hunan's modern historical celebrities shaped by Huxiang culture as a case study, pre-trained large models can help researchers efficiently extract key information, including biographical attributes, life events, and social relationships, from textual sources and construct structured knowledge graphs. However, systematic data resources for Hunan's historical celebrities remain limited, and general-purpose models often underperform in domain knowledge extraction and structured output generation in such low-resource settings. To address these issues, this study proposes a supervised fine-tuning approach for enhancing domain-specific information extraction. First, we design a fine-grained, schema-guided instruction template tailored to the Hunan historical celebrities domain and build an instruction-tuning dataset to mitigate the lack of domain-specific training corpora. Second, we apply parameter-efficient instruction fine-tuning to four publicly available large language models - Qwen2.5-7B, Qwen3-8B, DeepSeek-R1-Distill-Qwen-7B, and Llama-3.1-8B-Instruct - and develop evaluation criteria for assessing their extraction performance. Experimental results show that all models exhibit substantial performance gains after fine-tuning. Among them, Qwen3-8B achieves the strongest results, reaching a score of 89.3866 with 100 samples and 50 training iterations. This study provides new insights into fine-tuning vertical large language models for regional historical and cultural domains and highlights their potential for cost-effective applications in cultural heritage knowledge extraction and knowledge graph construction.