LLM-Assisted Knowledge Graph Completion for Curriculum and Domain Modelling in Personalized Higher Education Recommendations
作者: Hasan Abu-Rasheed, Constance Jumbo, Rashed Al Amin, Christian Weber, Veit Wiese, Roman Obermaisser, Madjid Fathi
分类: cs.HC, cs.AI
发布日期: 2025-01-21
备注: Accepted in the IEEE Global Engineering Education Conference (EDUCON2025), London, UK, 22-25 April, 2025
💡 一句话要点
提出LLM辅助的知识图谱补全方法，用于个性化高等教育推荐中的课程和领域建模。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 知识图谱补全 大型语言模型 个性化推荐 高等教育 课程建模
📋 核心要点
- 现有高等教育个性化学习缺乏对领域模型和学习情境的深入考虑，难以开发有效的个性化算法。
- 利用LLM辅助知识图谱补全，从课程材料中提取细粒度topic，构建领域、课程和用户模型，实现跨学科课程连接。
- 通过专家评估和图质量指标验证，表明该方法能有效连接相关课程，并获得专家对LLM辅助概念提取的高度认可。
📝 摘要（中文）
本文提出了一种创新性的高等教育课程建模方法，该方法利用大型语言模型（LLM）进行知识图谱（KG）补全，旨在创建个性化的学习路径推荐。研究重点是建模大学科目，并将它们的topic链接到相应的领域模型，从而能够在学生的学习路径中整合来自不同学院和机构的学习模块。该方法的核心是一个协作过程，其中LLM协助人类专家从讲座材料中提取高质量、细粒度的topic。为大学模块和利益相关者开发了领域、课程和用户模型。该模型被用于从两个学习模块（嵌入式系统和使用FPGA的嵌入式系统开发）创建KG。生成的KG构建了课程结构，并将其链接到领域模型。通过定性的专家反馈和定量的图质量指标评估了该方法。领域专家验证了模型的关联性和准确性，而图质量指标衡量了KG的结构属性。结果表明，LLM辅助的图补全方法增强了跨学科连接相关课程以个性化学习体验的能力。专家反馈也显示出对所提出的概念提取和分类协作方法的高度接受度。
🔬 方法详解
问题定义：现有高等教育个性化学习推荐系统难以有效整合不同学科和机构的课程资源，缺乏对课程内容细粒度的理解和领域知识的有效建模。传统方法依赖人工构建知识图谱，成本高昂且难以维护，阻碍了个性化学习路径的构建。
核心思路：利用大型语言模型（LLM）的强大语义理解和知识推理能力，辅助专家从课程材料中提取细粒度的topic，并将其链接到领域模型，从而自动构建和补全课程知识图谱。这种协作方式结合了LLM的效率和专家的专业知识，提高了知识图谱的质量和覆盖范围。
技术框架：该方法包含以下主要阶段：1) 数据收集：收集课程材料，如讲义、PPT等。2) LLM辅助的topic提取：利用LLM从课程材料中提取候选topic，并由专家进行筛选和修正。3) 知识图谱构建：将提取的topic作为节点，利用LLM和专家知识建立节点之间的关系，构建课程知识图谱。4) 领域模型集成：将课程知识图谱与预定义的领域模型进行对齐和融合，实现跨学科知识的连接。5) 个性化推荐：基于构建的知识图谱，结合用户模型，为学生推荐个性化的学习路径。
关键创新：该方法的核心创新在于将LLM引入到知识图谱构建过程中，实现了知识图谱的自动化构建和补全。与传统的人工构建方法相比，该方法大大降低了成本，提高了效率，并能够更好地捕捉课程内容的细粒度信息。此外，该方法还通过领域模型的集成，实现了跨学科知识的连接，为个性化学习推荐提供了更全面的知识基础。
关键设计：论文中使用了领域专家来验证LLM提取的topic的准确性和相关性。图质量指标，如连通性、密度等，被用于评估构建的知识图谱的结构属性。具体使用的LLM模型和参数设置在论文中未详细说明，属于未知信息。损失函数和网络结构等技术细节也未提及。
🖼️ 关键图片
📊 实验亮点
通过定性专家反馈，验证了LLM辅助构建的知识图谱的关联性和准确性，专家对该协作方法表示高度认可。定量图质量指标评估表明，构建的知识图谱具有良好的结构属性，增强了跨学科连接相关课程的能力，从而提升了个性化学习体验。具体的性能数据和提升幅度在论文中未明确给出。
🎯 应用场景
该研究成果可应用于构建智能化的在线教育平台，为学生提供个性化的学习路径推荐。通过整合不同机构和学科的课程资源，打破学习壁垒，促进跨学科学习和知识融合。此外，该方法还可用于企业内部培训，构建企业知识图谱，提升员工的学习效率和专业技能。
📄 摘要（原文）
While learning personalization offers great potential for learners, modern practices in higher education require a deeper consideration of domain models and learning contexts, to develop effective personalization algorithms. This paper introduces an innovative approach to higher education curriculum modelling that utilizes large language models (LLMs) for knowledge graph (KG) completion, with the goal of creating personalized learning-path recommendations. Our research focuses on modelling university subjects and linking their topics to corresponding domain models, enabling the integration of learning modules from different faculties and institutions in the student's learning path. Central to our approach is a collaborative process, where LLMs assist human experts in extracting high-quality, fine-grained topics from lecture materials. We develop a domain, curriculum, and user models for university modules and stakeholders. We implement this model to create the KG from two study modules: Embedded Systems and Development of Embedded Systems Using FPGA. The resulting KG structures the curriculum and links it to the domain models. We evaluate our approach through qualitative expert feedback and quantitative graph quality metrics. Domain experts validated the relevance and accuracy of the model, while the graph quality metrics measured the structural properties of our KG. Our results show that the LLM-assisted graph completion approach enhances the ability to connect related courses across disciplines to personalize the learning experience. Expert feedback also showed high acceptance of the proposed collaborative approach for concept extraction and classification.