MAS-KCL: Knowledge component graph structure learning with large language model-based agentic workflow

📄 arXiv: 2505.14126v1 📥 PDF

作者: Yuan-Hao Jiang, Kezong Tang, Zi-Wei Chen, Yuang Wei, Tian-Yi Liu, Jiayi Wu

分类: cs.LG, cs.CY, cs.HC, cs.MA

发布日期: 2025-05-20

备注: In CGI 2025: 42nd Computer Graphics International Conference, Kowloon, Hong Kong, Peper No. 134

DOI: 10.1007/s00371-025-03946-1

💡 一句话要点

提出MAS-KCL算法，利用LLM驱动的多智能体系统学习知识组件图结构。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识组件图 结构学习 大型语言模型 多智能体系统 教育数据挖掘

📋 核心要点

  1. 现有方法难以准确构建知识组件图，阻碍了对学习者知识掌握情况的精准分析和个性化教学。
  2. MAS-KCL利用LLM驱动的多智能体系统，自适应地修改和优化知识组件图结构，提升学习路径识别的准确性。
  3. 实验结果表明，MAS-KCL在合成数据集和真实教育数据集上均表现出色，有效提升了学习路径识别的准确性。

📝 摘要（中文）

知识组件(KCs)是教育领域知识的基本单元。KC图说明了KCs之间的关系和依赖性。准确的KC图可以帮助教育者识别学习者在特定KC上表现不佳的根本原因，从而实现有针对性的教学干预。为此，我们开发了一种KC图结构学习算法，名为MAS-KCL，该算法采用由大型语言模型驱动的多智能体系统，用于自适应修改和优化KC图。此外，该算法还集成了一种双向反馈机制，AI智能体利用该机制来评估KC图中边的价值，并调整不同边的生成概率分布，从而提高结构学习的效率。我们将提出的算法应用于5个合成数据集和4个真实教育数据集，实验结果验证了其在学习路径识别方面的有效性。通过准确识别学习者的学习路径，教师能够设计更全面的学习计划，使学习者能够更有效地实现其教育目标，从而促进教育的可持续发展。

🔬 方法详解

问题定义：论文旨在解决知识组件图（KC图）结构学习的问题。现有的KC图构建方法可能存在准确性不足的问题，导致无法准确识别学习者的学习路径，从而影响个性化教学效果。构建准确的KC图对于理解学习者知识掌握情况至关重要。

核心思路：论文的核心思路是利用大型语言模型（LLM）驱动的多智能体系统（MAS）来学习KC图的结构。通过多个智能体之间的协作和交互，自适应地修改和优化KC图，从而提高KC图的准确性和有效性。这种方法能够更好地捕捉知识组件之间的复杂关系。

技术框架：MAS-KCL算法的技术框架主要包括以下几个模块：1) LLM驱动的智能体：每个智能体负责探索和修改KC图的一部分。2) 双向反馈机制：智能体之间通过双向反馈机制进行信息交流，评估边的价值，并调整生成概率。3) KC图结构学习：通过智能体的协作和反馈，逐步优化KC图的结构。整体流程是智能体根据LLM的知识和推理能力，提出KC图的修改建议，然后通过反馈机制评估这些修改的有效性，最终形成一个准确的KC图。

关键创新：MAS-KCL的关键创新在于将LLM与多智能体系统相结合，用于KC图结构学习。与传统的基于统计或规则的方法相比，MAS-KCL能够更好地利用LLM的知识和推理能力，从而更准确地捕捉知识组件之间的复杂关系。此外，双向反馈机制也加速了结构学习的效率。

关键设计：在MAS-KCL中，关键设计包括：1) 智能体的数量和角色分配；2) LLM的选择和prompt设计；3) 双向反馈机制的实现方式，例如如何评估边的价值和调整生成概率；4) 损失函数的设计，用于指导智能体的学习和优化过程。这些设计细节直接影响着MAS-KCL的性能和效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MAS-KCL算法在5个合成数据集和4个真实教育数据集上均取得了良好的效果。与现有方法相比，MAS-KCL能够更准确地识别学习路径，从而提升了学习效果。具体的性能数据和对比基线在论文中进行了详细的展示和分析，验证了MAS-KCL算法的有效性和优越性。

🎯 应用场景

MAS-KCL算法可应用于在线教育平台、智能辅导系统等领域，帮助教师和教育机构更好地了解学生的学习情况，从而制定个性化的教学计划和学习资源推荐。通过准确识别学习路径，该算法能够提升学生的学习效率和效果，促进教育的个性化和智能化发展。此外，该算法还可用于知识图谱构建、知识管理等领域。

📄 摘要（原文）

Knowledge components (KCs) are the fundamental units of knowledge in the field of education. A KC graph illustrates the relationships and dependencies between KCs. An accurate KC graph can assist educators in identifying the root causes of learners' poor performance on specific KCs, thereby enabling targeted instructional interventions. To achieve this, we have developed a KC graph structure learning algorithm, named MAS-KCL, which employs a multi-agent system driven by large language models for adaptive modification and optimization of the KC graph. Additionally, a bidirectional feedback mechanism is integrated into the algorithm, where AI agents leverage this mechanism to assess the value of edges within the KC graph and adjust the distribution of generation probabilities for different edges, thereby accelerating the efficiency of structure learning. We applied the proposed algorithm to 5 synthetic datasets and 4 real-world educational datasets, and experimental results validate its effectiveness in learning path recognition. By accurately identifying learners' learning paths, teachers are able to design more comprehensive learning plans, enabling learners to achieve their educational goals more effectively, thus promoting the sustainable development of education.