"Give me the code" -- Log Analysis of First-Year CS Students' Interactions With GPT

📄 arXiv: 2411.17855v2 📥 PDF

作者: Pedro Alves, Bruno Pereira Cipriano

分类: cs.CY, cs.AI, cs.ET, cs.HC

发布日期: 2024-11-26 (更新: 2024-12-01)

备注: This is the author's version of the work. It is posted here for your personal use. Not for redistribution

💡 一句话要点

分析新生与GPT交互日志，揭示AI辅助编程对学生能力的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 GPT 计算机科学教育 编程教学 批判性思维

📋 核心要点

  1. 核心问题是新生过度依赖GPT生成代码，可能阻碍其编程基础技能的培养。
  2. 研究分析学生与GPT的交互日志，观察其提示使用和对生成代码的判断能力。
  3. 实验发现多数学生能成功利用GPT，且半数学生能评估并选择合适的GPT生成方案。

📝 摘要（中文）

大型语言模型（LLM）如GPT-3、GPT-4和Bard预计将对计算机科学（CS）教育产生深远影响。学生现在能够生成各种编程作业的代码解决方案。对于一年级学生来说，这可能尤其成问题，因为他们的基础技能仍在发展中，过度依赖生成式AI工具可能会阻碍他们掌握基本的编程概念。本文分析了69名大一本科生在解决项目作业中的特定编程问题时使用的提示，没有事先对他们进行提示训练。我们还介绍了激发提示的练习规则，旨在培养互动过程中的批判性思维能力。尽管使用了不成熟的提示技术，但我们的研究结果表明，大多数学生成功地利用了GPT，并将建议的解决方案纳入了他们的项目中。此外，一半的学生表现出从多个GPT生成的解决方案中进行选择的能力，展示了他们在评估AI生成的代码时批判性思维能力的发展。

🔬 方法详解

问题定义：论文旨在研究大一计算机科学学生在使用GPT等大型语言模型辅助编程时，其编程能力和批判性思维能力受到的影响。现有方法缺乏对学生实际使用LLM情况的细致分析，无法有效评估LLM对学生学习的潜在风险和益处。

核心思路：通过分析学生与GPT的交互日志，特别是他们使用的提示（prompts）以及对GPT生成代码的采纳情况，来推断学生对LLM的依赖程度以及批判性思维的发展情况。核心在于观察学生是否能有效利用LLM，并在多个解决方案中做出明智选择。

技术框架：该研究主要采用定性分析方法，没有涉及复杂的模型或算法。研究流程包括：1) 设计编程练习，鼓励学生使用GPT辅助解决问题；2) 收集学生与GPT的交互日志，包括提示和GPT生成的代码；3) 分析日志数据，评估学生对GPT的使用情况和批判性思维能力。

关键创新：该研究的创新之处在于，它直接分析了真实场景下学生与GPT的交互数据，而非通过问卷调查或实验模拟。这种方法能够更真实地反映学生在使用LLM时的行为和思维过程。

关键设计：关键设计在于编程练习的设计，该练习旨在激发学生的批判性思维，鼓励他们不仅依赖GPT生成代码，还要对生成的代码进行评估和选择。此外，研究人员没有对学生进行任何提示训练，以观察他们在自然状态下如何使用GPT。

📊 实验亮点

研究发现，尽管学生使用了相对简单的提示技巧，但大多数学生成功地利用了GPT来解决编程问题，并将GPT生成的代码整合到他们的项目中。更重要的是，大约一半的学生能够从多个GPT生成的解决方案中进行选择，这表明他们在评估AI生成的代码时，具备一定的批判性思维能力。

🎯 应用场景

该研究结果可用于指导计算机科学教育，帮助教师了解LLM对学生学习的影响，并制定相应的教学策略，例如教授学生如何有效地使用LLM，同时培养其批判性思维和编程基础技能。此外，该研究也为LLM在教育领域的应用提供了参考。

📄 摘要（原文）

The impact of Large Language Models (LLMs) like GPT-3, GPT-4, and Bard in computer science (CS) education is expected to be profound. Students now have the power to generate code solutions for a wide array of programming assignments. For first-year students, this may be particularly problematic since the foundational skills are still in development and an over-reliance on generative AI tools can hinder their ability to grasp essential programming concepts. This paper analyzes the prompts used by 69 freshmen undergraduate students to solve a certain programming problem within a project assignment, without giving them prior prompt training. We also present the rules of the exercise that motivated the prompts, designed to foster critical thinking skills during the interaction. Despite using unsophisticated prompting techniques, our findings suggest that the majority of students successfully leveraged GPT, incorporating the suggested solutions into their projects. Additionally, half of the students demonstrated the ability to exercise judgment in selecting from multiple GPT-generated solutions, showcasing the development of their critical thinking skills in evaluating AI-generated code.