Effects of a Prompt Engineering Intervention on Undergraduate Students' AI Self-Efficacy, AI Knowledge and Prompt Engineering Ability: A Mixed Methods Study

📄 arXiv: 2408.07302v1 📥 PDF

作者: David James Woo, Deliang Wang, Tim Yung, Kai Guo

分类: cs.CY, cs.CL, cs.HC

发布日期: 2024-07-30

备注: 34 pages, 6 figures

DOI: 10.1002/berj.70087

💡 一句话要点

提示工程干预提升本科生AI自效能、知识和提示词编写能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 提示工程 大型语言模型 AI素养教育 高等教育 教学干预

📋 核心要点

  1. 现有学生学习提示工程的方式较为随意和直观，缺乏系统性的指导，导致LLM在教育场景下的潜力未能充分发挥。
  2. 本研究设计了一个100分钟的提示工程工作坊，向学生介绍提示工程策略，并将其应用于课程论文的规划。
  3. 实验结果表明，该干预显著提升了学生的AI自效能、AI知识以及提示工程技能，为AI素养教育提供了启示。

📝 摘要（中文）

本研究旨在探索提示工程教学对学生的影响。针对ChatGPT等大型语言模型（LLMs）的有效交互，提示工程至关重要，但目前针对学生的教学实践有限。本研究设计并实施了一项提示工程干预，旨在考察其对本科生AI自效能、AI知识以及创建有效提示词能力的影响。27名学生参与了香港一所大学历史课程期间举办的100分钟工作坊。工作坊向学生介绍了提示工程策略，并将其应用于课程论文的规划。研究收集了多项数据，包括工作坊前后问卷、提示词库以及书面反思。结果表明，干预显著提升了学生的AI自效能、AI概念理解以及提示工程技能。该研究强调了在高等教育中进行提示工程培训的重要性，这标志着从学生随意和直观地学习提示工程的转变。通过提示工程教育，教育工作者可以促进学生有效利用LLM来支持课程学习。

🔬 方法详解

问题定义：论文旨在解决本科生在使用大型语言模型（LLMs）时，由于缺乏系统的提示工程知识和技能，导致无法有效利用LLMs辅助学习的问题。现有方法主要依赖学生自发探索和直觉，效率低下且效果难以保证。

核心思路：论文的核心思路是通过设计一个短期的提示工程干预工作坊，向学生系统地教授提示工程的基本概念、策略和技巧，从而提升学生的AI自效能、AI知识以及提示词编写能力。这种干预旨在弥补学生在提示工程方面的知识空白，使其能够更有效地利用LLMs完成学习任务。

技术框架：该研究采用混合方法，包括定量和定性数据收集与分析。主要流程如下：1) 工作坊前问卷调查，评估学生初始的AI自效能和AI知识；2) 100分钟的提示工程工作坊，介绍提示工程策略；3) 学生应用所学知识，为课程论文规划编写提示词；4) 工作坊后问卷调查，评估学生AI自效能和AI知识的变化；5) 分析工作坊前后学生编写的提示词，评估提示工程技能的提升；6) 分析学生的书面反思，了解他们对工作坊的看法和收获。

关键创新：该研究的关键创新在于将提示工程作为一种可教授的技能，并设计了一个针对本科生的短期干预方案。与以往依赖学生自发学习的方式不同，该研究强调通过系统性的教学和实践，提升学生的提示工程能力。此外，该研究还关注了提示工程对学生AI自效能和AI知识的影响，为AI素养教育提供了新的视角。

关键设计：工作坊时长为100分钟，内容包括提示工程的基本概念、常用策略（例如，角色扮演、情境设定、约束条件等）以及实际案例分析。学生在工作坊中学习如何将这些策略应用于课程论文的规划，并编写相应的提示词。研究采用配对样本t检验分析问卷调查数据，评估AI自效能和AI知识的显著性变化。通过人工评估学生编写的提示词，评估提示工程技能的提升。

📊 实验亮点

研究结果表明，经过100分钟的提示工程工作坊，学生的AI自效能、AI知识和提示工程技能均得到显著提升。具体而言，工作坊后学生的AI自效能和AI知识的得分均显著高于工作坊前（p < 0.05）。此外，学生编写的提示词质量也得到了明显改善，能够更有效地引导LLMs生成高质量的文本。

🎯 应用场景

该研究成果可应用于高等教育领域，为高校开设提示工程相关课程或工作坊提供参考。通过系统性的提示工程教学，可以帮助学生更有效地利用LLMs辅助学习、提高学习效率和质量。此外，该研究也为企业培训提供了借鉴，帮助员工掌握提示工程技能，提升工作效率。

📄 摘要（原文）

Prompt engineering is critical for effective interaction with large language models (LLMs) such as ChatGPT. However, efforts to teach this skill to students have been limited. This study designed and implemented a prompt engineering intervention, examining its influence on undergraduate students' AI self-efficacy, AI knowledge, and proficiency in creating effective prompts. The intervention involved 27 students who participated in a 100-minute workshop conducted during their history course at a university in Hong Kong. During the workshop, students were introduced to prompt engineering strategies, which they applied to plan the course's final essay task. Multiple data sources were collected, including students' responses to pre- and post-workshop questionnaires, pre- and post-workshop prompt libraries, and written reflections. The study's findings revealed that students demonstrated a higher level of AI self-efficacy, an enhanced understanding of AI concepts, and improved prompt engineering skills because of the intervention. These findings have implications for AI literacy education, as they highlight the importance of prompt engineering training for specific higher education use cases. This is a significant shift from students haphazardly and intuitively learning to engineer prompts. Through prompt engineering education, educators can faciitate students' effective navigation and leverage of LLMs to support their coursework.