Design of AI-Powered Tool for Self-Regulation Support in Programming Education

📄 arXiv: 2504.03068v2 📥 PDF

作者: Huiyong Li, Boxuan Ma

分类: cs.HC, cs.AI

发布日期: 2025-04-03 (更新: 2025-04-07)

💡 一句话要点

提出CodeRunner Agent，集成LLM以增强编程教育中的自调节学习能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 编程教育 大型语言模型 自调节学习 代码辅助 Moodle插件

📋 核心要点

  1. 现有编程辅助工具与学习管理系统脱节，无法充分利用上下文信息生成个性化反馈。
  2. CodeRunner Agent集成了LLM和Moodle插件CodeRunner，提供上下文感知的编程辅助。
  3. 该工具通过提供基于策略的AI反馈，增强学生的自调节学习能力，促进技能发展。

📝 摘要（中文）

大型语言模型(LLM)工具已展现出提供高质量辅助的潜力，通过提供即时、个性化的反馈，这对有效的编程教育至关重要。然而，许多此类工具独立于机构的学习管理系统运行，造成了显著的脱节。这种隔离限制了利用学习材料和练习上下文来生成定制的、上下文感知的反馈的能力。此外，先前关于自调节学习和LLM支持的研究主要集中在知识获取上，而不是重要的自调节技能的培养。为了应对这些挑战，我们开发了CodeRunner Agent，这是一个基于LLM的编程助手，它集成了CodeRunner，一个在Moodle中学生提交代码执行和自动评分的插件。CodeRunner Agent使教育工作者能够通过结合来自讲座材料、编程问题、学生答案和执行结果的详细上下文来定制AI生成的反馈。此外，它通过提供基于策略的AI响应来增强学生的自调节学习。这种集成、上下文感知和技能聚焦的方法为编程教育中数据驱动的改进提供了有希望的途径。

🔬 方法详解

问题定义：现有基于LLM的编程辅助工具通常独立于学习管理系统（LMS），导致无法有效利用课程材料、编程题目和学生作答等上下文信息，从而限制了反馈的个性化和针对性。此外，以往研究主要关注知识获取，忽视了编程学习中重要的自调节技能的培养。

核心思路：论文的核心思路是将LLM集成到现有的LMS环境中，具体来说，是集成到Moodle的CodeRunner插件中。通过这种集成，LLM可以访问更丰富的上下文信息，从而生成更具针对性和个性化的反馈。同时，设计AI反馈策略，引导学生进行自调节学习，提升问题解决能力。

技术框架：CodeRunner Agent的技术框架主要包含以下几个模块：1) CodeRunner插件：负责代码执行和自动评分；2) LLM模块：负责生成反馈和提供建议；3) 上下文信息提取模块：负责从课程材料、编程题目、学生作答和执行结果中提取相关信息；4) 反馈策略模块：负责根据学生的表现和上下文信息，选择合适的反馈策略。整体流程是：学生提交代码 -> CodeRunner执行并评分 -> 上下文信息提取 -> LLM生成反馈 -> 反馈呈现给学生。

关键创新：该论文的关键创新在于将LLM与LMS紧密集成，实现了上下文感知的编程辅助。与以往独立运行的LLM工具相比，CodeRunner Agent能够利用更丰富的上下文信息，提供更具针对性和个性化的反馈。此外，该论文还关注自调节学习技能的培养，设计了基于策略的AI反馈，引导学生进行反思和改进。

关键设计：论文中关于LLM的具体选择、提示工程（Prompt Engineering）的设计、以及反馈策略的细节描述不足，属于未知信息。但可以推测，提示工程的设计至关重要，需要精心设计提示语，引导LLM生成高质量的反馈。反馈策略可能包括：错误诊断、代码改进建议、相关知识点提示、以及鼓励学生反思的引导性问题。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

论文主要描述了CodeRunner Agent的设计和实现，并没有提供具体的实验结果。因此，无法总结具体的性能数据、对比基线和提升幅度。但是，该论文提出了一种有前景的编程教育辅助方法，为未来的研究提供了方向。

🎯 应用场景

CodeRunner Agent可广泛应用于在线编程教育平台，为学生提供个性化的编程辅导和反馈，提升学习效果。该工具能够帮助教师减轻批改作业的负担，并为学生提供更及时、更有效的学习支持。未来，该研究可扩展到其他学科，为更广泛的在线教育提供智能化支持。

📄 摘要（原文）

Large Language Model (LLM) tools have demonstrated their potential to deliver high-quality assistance by providing instant, personalized feedback that is crucial for effective programming education. However, many of these tools operate independently from institutional Learning Management Systems, which creates a significant disconnect. This isolation limits the ability to leverage learning materials and exercise context for generating tailored, context-aware feedback. Furthermore, previous research on self-regulated learning and LLM support mainly focused on knowledge acquisition, not the development of important self-regulation skills. To address these challenges, we developed CodeRunner Agent, an LLM-based programming assistant that integrates the CodeRunner, a student-submitted code executing and automated grading plugin in Moodle. CodeRunner Agent empowers educators to customize AI-generated feedback by incorporating detailed context from lecture materials, programming questions, student answers, and execution results. Additionally, it enhances students' self-regulated learning by providing strategy-based AI responses. This integrated, context-aware, and skill-focused approach offers promising avenues for data-driven improvements in programming education.