Evaluating adaptive and generative AI-based feedback and recommendations in a knowledge-graph-integrated programming learning system

📄 arXiv: 2603.24940v1 📥 PDF

作者: Lalita Na Nongkhai, Jingyun Wang, Adam Wynn, Takahiko Mendori

分类: cs.PL, cs.AI

发布日期: 2026-03-26

期刊: Computers and Education: Artificial Intelligence, Volume 10, June 2026, 100526

DOI: 10.1016/j.caeai.2025.100526

💡 一句话要点

提出融合知识图谱的自适应与生成式AI编程学习反馈框架，提升学习效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 编程学习 自适应学习 生成式AI 知识图谱 检索增强生成

📋 核心要点

  1. 现有编程学习系统缺乏个性化和智能化的反馈机制，难以有效提升学习效果。
  2. 提出一种融合知识图谱的检索增强生成式AI框架，为学习者提供自适应和生成式反馈。
  3. 实验表明，混合GenAI-自适应模式在代码正确率和提交质量上均优于传统自适应和纯GenAI模式。

📝 摘要（中文）

本文介绍了一个框架的设计与开发，该框架将大型语言模型（LLM）与检索增强生成（RAG）方法相结合，利用知识图谱和用户交互历史。该框架被整合到一个先前开发的自适应学习支持系统中，用于评估学习者的代码，生成形成性反馈，并推荐练习。此外，本研究考察了学习者在三种教学模式（自适应、生成式AI（GenAI）和混合GenAI-自适应）中的偏好。通过一项实验研究，比较了学习者的学习表现和感知，以及这三种模式的有效性，使用了从所有实验组的4956个代码提交中提取的四个关键日志特征。分析结果表明，接受来自GenAI模式反馈的学习者比接受来自自适应模式反馈的学习者拥有明显更多的正确代码，以及更少的缺少基本编程逻辑的代码提交。特别是，混合GenAI-自适应模式实现了最高的正确提交数量和最少的错误或不完整的尝试，优于仅自适应和仅GenAI模式。问卷调查结果进一步表明，GenAI生成的反馈被广泛认为是有帮助的，而所有模式在易用性和有用性方面都获得了积极评价。这些结果表明，混合GenAI-自适应模式在所有测量的日志特征方面均优于其他两种模式。

🔬 方法详解

问题定义：现有的编程学习系统通常依赖于预定义的规则或简单的统计模型来提供反馈，缺乏对代码深层语义的理解和个性化的适应能力。这导致学习者难以获得针对性的指导，容易在编程过程中遇到困难并失去学习兴趣。此外，传统的自适应学习系统难以生成多样化和创造性的解决方案，限制了学习者的思维拓展。

核心思路：本文的核心思路是将大型语言模型（LLM）的生成能力与知识图谱的结构化知识相结合，通过检索增强生成（RAG）的方式，为学习者提供更智能、更个性化的编程反馈和练习推荐。这种方法既能利用LLM的自然语言处理能力理解代码语义，又能借助知识图谱的知识推理能力发现代码中的潜在问题，从而生成更准确、更有效的反馈。

技术框架：该框架主要包含以下几个模块：1) 代码评估模块：使用LLM对学习者提交的代码进行初步评估，识别语法错误和潜在的逻辑问题。2) 知识图谱检索模块：根据代码的语义信息，在知识图谱中检索相关的编程概念、算法和示例代码。3) 反馈生成模块：结合LLM和知识图谱的信息，生成针对性的反馈，包括错误提示、代码改进建议和相关知识点的解释。4) 练习推荐模块：根据学习者的学习进度和代码评估结果，推荐合适的编程练习，以巩固知识和提升技能。

关键创新：该方法最重要的技术创新点在于将LLM的生成能力与知识图谱的结构化知识相结合，实现了更智能、更个性化的编程学习支持。与传统的自适应学习系统相比，该方法能够生成更自然、更易于理解的反馈，并提供更丰富的学习资源。与纯粹的LLM方法相比，该方法能够利用知识图谱的知识推理能力，发现代码中的潜在问题，并提供更准确的反馈。

关键设计：在具体实现中，该框架采用了Transformer架构的LLM，并使用大规模的编程代码数据集进行预训练。知识图谱包含了常用的编程概念、算法和示例代码，并使用Neo4j图数据库进行存储和管理。在反馈生成过程中，该框架使用了基于规则和模板的方法，以确保反馈的准确性和一致性。同时，该框架还支持人工干预，允许教师或专家对反馈进行修改和完善。

📊 实验亮点

实验结果表明，混合GenAI-自适应模式在所有测量的日志特征方面均优于其他两种模式。具体而言，该模式实现了最高的正确提交数量和最少的错误或不完整的尝试。此外，问卷调查结果显示，学习者普遍认为GenAI生成的反馈是有帮助的，并且所有模式在易用性和有用性方面都获得了积极评价。

🎯 应用场景

该研究成果可应用于在线编程教育平台、智能编程助手等领域，为学习者提供个性化的学习体验和高效的编程指导。通过结合自适应学习和生成式AI，可以有效提升学习者的编程技能和学习效率，并促进编程教育的普及和发展。未来，该技术还可以扩展到其他学科领域，为更广泛的学习者提供智能化的学习支持。

📄 摘要（原文）

This paper introduces the design and development of a framework that integrates a large language model (LLM) with a retrieval-augmented generation (RAG) approach leveraging both a knowledge graph and user interaction history. The framework is incorporated into a previously developed adaptive learning support system to assess learners' code, generate formative feedback, and recommend exercises. Moerover, this study examines learner preferences across three instructional modes; adaptive, Generative AI (GenAI), and hybrid GenAI-adaptive. An experimental study was conducted to compare the learning performance and perception of the learners, and the effectiveness of these three modes using four key log features derived from 4956 code submissions across all experimental groups. The analysis results show that learners receiving feedback from GenAI modes had significantly more correct code and fewer code submissions missing essential programming logic than those receiving feedback from adaptive mode. In particular, the hybrid GenAI-adaptive mode achieved the highest number of correct submissions and the fewest incorrect or incomplete attempts, outperforming both the adaptive-only and GenAI-only modes. Questionnaire responses further indicated that GenAI-generated feedback was widely perceived as helpful, while all modes were rated positively for ease of use and usefulness. These results suggest that the hybrid GenAI-adaptive mode outperforms the other two modes across all measured log features.