Large Language Models in Computer Science Education: A Systematic Literature Review

📄 arXiv: 2410.16349v1 📥 PDF

作者: Nishat Raihan, Mohammed Latif Siddiq, Joanna C. S. Santos, Marcos Zampieri

分类: cs.LG, cs.HC

发布日期: 2024-10-21

备注: Accepted at 56th ACM Technical Symposium on Computer Science Education (SIGCSE TS 2025)

💡 一句话要点

系统性文献综述：大型语言模型在计算机科学教育中的应用与影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 计算机科学教育 系统性文献综述 自然语言处理 编程语言

📋 核心要点

  1. 计算机科学教育面临如何有效利用新兴LLM技术提升教学质量和学生学习效果的挑战。
  2. 该研究通过系统性文献综述，全面评估LLM在计算机科学教育中的应用现状、优势与不足。
  3. 研究旨在为教育者和研究人员提供关于LLM在计算机科学教育中应用的深入见解和未来发展方向。

📝 摘要（中文）

大型语言模型(LLM)在自然语言处理(NLP)任务中表现日益出色，尤其是在文本生成和理解方面。近年来，这些模型的能力已扩展到编码任务，弥合了自然语言(NL)和编程语言(PL)之间的差距。诸如生成式预训练Transformer (GPT)和LLaMA系列等基础模型，在各种NL和PL任务中都建立了强大的基线性能。此外，一些模型经过专门针对代码生成的微调，在代码相关应用中显示出显著的改进。基础模型和微调模型越来越多地应用于教育领域，帮助学生编写、调试和理解代码。本文对LLM在计算机科学和计算机工程教育中的影响进行了一项全面的系统性文献综述，分析了它们在增强学习体验、支持个性化教育以及帮助教育工作者进行课程开发方面的有效性。我们提出了五个研究问题，以揭示LLM如何促进教育成果，识别挑战，并为未来的研究提出方向。

🔬 方法详解

问题定义：该论文旨在系统性地评估大型语言模型（LLM）在计算机科学和计算机工程教育领域的影响。现有方法缺乏对LLM在教育领域应用的全面、系统的分析，难以指导教育者和研究人员有效利用LLM提升教学质量和学生学习效果。

核心思路：论文采用系统性文献综述的方法，通过对相关文献的收集、筛选、分析和综合，全面评估LLM在计算机科学教育中的应用现状、优势、挑战和未来发展方向。核心在于识别和总结LLM在教育领域的关键应用、影响因素和潜在问题。

技术框架：该研究的技术框架主要包括以下几个阶段： 1. 明确研究问题：确定LLM在计算机科学教育中的关键研究问题。 2. 文献检索：系统性地检索相关学术数据库和会议论文集。 3. 文献筛选：根据预定的纳入和排除标准筛选相关文献。 4. 数据提取：从筛选后的文献中提取关键信息，如研究方法、实验结果和结论。 5. 数据综合：对提取的数据进行综合分析，总结LLM在计算机科学教育中的应用现状、优势、挑战和未来发展方向。

关键创新：该研究的关键创新在于其系统性和全面性。它不仅涵盖了LLM在计算机科学教育中的各种应用，还深入分析了其优势、挑战和未来发展方向。此外，该研究还提出了五个具体的研究问题，为未来的研究提供了明确的方向。

关键设计：该研究的关键设计包括： 1. 明确的纳入和排除标准，确保文献筛选的客观性和一致性。 2. 标准化的数据提取表格，确保数据提取的完整性和准确性。 3. 严格的数据综合方法，确保研究结论的可靠性和有效性。

🖼️ 关键图片

img_0

📊 实验亮点

该研究通过系统性文献综述，全面评估了LLM在计算机科学教育中的应用现状，揭示了LLM在增强学习体验、支持个性化教育和辅助课程开发方面的潜力。研究识别了LLM在教育应用中存在的挑战，并为未来的研究提出了明确的方向，为教育者和研究人员提供了宝贵的参考。

🎯 应用场景

该研究结果可应用于计算机科学教育领域，帮助教育者更好地利用LLM来改进教学方法、设计更有效的课程和提供个性化的学习体验。此外，该研究还可以为LLM的开发者提供反馈，指导他们开发更适合教育应用的LLM模型。该研究的长期影响在于提升计算机科学教育的质量和效率，培养更多优秀的计算机科学人才。

📄 摘要（原文）

Large language models (LLMs) are becoming increasingly better at a wide range of Natural Language Processing tasks (NLP), such as text generation and understanding. Recently, these models have extended their capabilities to coding tasks, bridging the gap between natural languages (NL) and programming languages (PL). Foundational models such as the Generative Pre-trained Transformer (GPT) and LLaMA series have set strong baseline performances in various NL and PL tasks. Additionally, several models have been fine-tuned specifically for code generation, showing significant improvements in code-related applications. Both foundational and fine-tuned models are increasingly used in education, helping students write, debug, and understand code. We present a comprehensive systematic literature review to examine the impact of LLMs in computer science and computer engineering education. We analyze their effectiveness in enhancing the learning experience, supporting personalized education, and aiding educators in curriculum development. We address five research questions to uncover insights into how LLMs contribute to educational outcomes, identify challenges, and suggest directions for future research.