AI-Tutoring in Software Engineering Education

📄 arXiv: 2404.02548v2 📥 PDF

作者: Eduard Frankford, Clemens Sauerwein, Patrick Bassner, Stephan Krusche, Ruth Breu

分类: cs.SE, cs.AI

发布日期: 2024-04-03 (更新: 2024-04-05)

备注: 11 pages, 5 figures

DOI: 10.1145/3639474.3640061

💡 一句话要点

通过GPT-3.5-Turbo模型提升软件工程教育中的AI辅导效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人工智能辅导 软件工程教育 大型语言模型 自动编程评估 用户体验分析 教育技术 个性化学习

📋 核心要点

  1. 现有的自动编程评估系统在使用大型语言模型作为AI辅导员时，缺乏科学评估和用户体验分析。
  2. 本文通过将GPT-3.5-Turbo模型集成到APAS Artemis中，探索学生与AI辅导员的互动模式，识别不同用户类型。
  3. 研究发现AI辅导员能够提供及时反馈和可扩展性，但也面临通用响应和学习进度抑制的挑战。

📝 摘要（中文）

随着人工智能在各个领域的快速发展，教育行业正面临转型。尤其是在编程学习中，AI驱动工具的潜力巨大。然而，针对自动编程评估系统中使用的大型语言模型（LLMs）作为AI辅导员的科学评估仍然较少。因此，了解学生如何与这些AI辅导员互动及其体验至关重要。本文通过将GPT-3.5-Turbo模型集成到APAS Artemis中，进行了探索性案例研究。通过实证数据收集和探索性调查，我们识别了不同用户类型及其与AI辅导员的互动模式。研究结果显示，AI辅导员提供了及时反馈和可扩展性等优势，但也存在通用响应和学生对学习进度抑制的担忧等挑战。这项研究为AI在教育中的角色提供了新的视角。

🔬 方法详解

问题定义：本文旨在解决在软件工程教育中，现有自动编程评估系统对AI辅导员的科学评估不足的问题。现有方法未能深入分析学生与AI辅导员的互动及其体验。

核心思路：通过将GPT-3.5-Turbo模型集成到APAS Artemis中，进行探索性案例研究，旨在识别用户类型及其互动模式，从而优化AI辅导员的设计和应用。

技术框架：研究采用实证数据收集与探索性调查相结合的方法，首先集成AI模型，然后分析用户反馈与互动数据，最终识别用户类型。

关键创新：本研究的创新点在于首次系统性地评估了大型语言模型在自动编程评估中的应用，揭示了不同用户类型的互动模式及其体验。

关键设计：在模型集成过程中，设置了特定的参数以优化响应质量，同时设计了调查问卷以收集用户反馈，确保数据的有效性与可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AI辅导员能够提供及时反馈，提升学习效率。用户反馈显示，使用AI辅导员的学生在编程任务中的表现有所提高，尤其是在反馈响应时间和学习支持方面。尽管存在通用响应的问题，但整体用户满意度较高，表明AI辅导员的应用前景广阔。

🎯 应用场景

该研究的潜在应用领域包括软件工程教育、在线学习平台及教育技术开发。通过优化AI辅导员的设计，可以提升学生的学习体验和编程能力，推动教育行业的智能化转型。未来，AI辅导员有望在更多学科中得到应用，促进个性化学习和教育公平。

📄 摘要（原文）

With the rapid advancement of artificial intelligence (AI) in various domains, the education sector is set for transformation. The potential of AI-driven tools in enhancing the learning experience, especially in programming, is immense. However, the scientific evaluation of Large Language Models (LLMs) used in Automated Programming Assessment Systems (APASs) as an AI-Tutor remains largely unexplored. Therefore, there is a need to understand how students interact with such AI-Tutors and to analyze their experiences. In this paper, we conducted an exploratory case study by integrating the GPT-3.5-Turbo model as an AI-Tutor within the APAS Artemis. Through a combination of empirical data collection and an exploratory survey, we identified different user types based on their interaction patterns with the AI-Tutor. Additionally, the findings highlight advantages, such as timely feedback and scalability. However, challenges like generic responses and students' concerns about a learning progress inhibition when using the AI-Tutor were also evident. This research adds to the discourse on AI's role in education.