A Systematic Review on Prompt Engineering in Large Language Models for K-12 STEM Education

📄 arXiv: 2410.11123v1 📥 PDF

作者: Eason Chen, Danyang Wang, Luyi Xu, Chen Cao, Xiao Fang, Jionghao Lin

分类: cs.CL, cs.HC

发布日期: 2024-10-14

💡 一句话要点

综述研究：大型语言模型结合提示工程在K-12 STEM教育中的应用与效果分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 提示工程 K-12 STEM教育 教育应用 文献综述

📋 核心要点

  1. 现有研究缺乏对LLM如何通过提示工程有效应用于K-12 STEM教育的全面理解。
  2. 该研究通过系统性回顾，分析了2021-2024年间相关实证研究，总结了提示策略、模型选择和评估方法。
  3. 研究发现高级提示技术和小型微调模型在特定教育任务中表现优异，但真实环境验证不足。

📝 摘要（中文）

本研究旨在系统性地回顾大型语言模型（LLMs）通过提示工程应用于K-12 STEM教育的实证研究。通过遵循PRISMA协议，我们筛选了2021年至2024年间发表的2654篇论文，并最终选择了30篇进行分析。该综述识别了所采用的提示策略、使用的LLM类型、有效性评估方法以及先前工作的局限性。结果表明，虽然简单和零样本提示很常用，但像少样本和思维链提示等更高级的技术在各种教育任务中表现出积极成果。GPT系列模型被广泛使用，但在特定情况下，较小且经过微调的模型（例如，Blender 7B）与有效的提示工程相结合，优于提示较大的模型（例如，GPT-3）。评估方法差异很大，在真实环境中的实证验证有限。

🔬 方法详解

问题定义：现有研究缺乏对大型语言模型（LLMs）在K-12 STEM教育中应用效果的系统性评估，尤其是在提示工程方面。虽然LLMs展现出提升教学和学习过程的潜力，但如何有效利用提示工程来优化LLMs的性能仍是一个挑战。现有方法在评估LLMs在教育领域的应用时，往往缺乏统一的标准和真实场景的验证。

核心思路：本研究的核心思路是通过系统性文献综述，梳理和分析已有的关于LLMs结合提示工程在K-12 STEM教育中应用的实证研究。通过识别不同的提示策略、模型类型、评估方法和局限性，从而为未来的研究和实践提供指导。

技术框架：该研究遵循PRISMA协议进行文献筛选，包括以下步骤：(1) 确定检索关键词和数据库；(2) 初步筛选，排除不相关文献；(3) 详细阅读筛选后的文献；(4) 提取关键信息，如提示策略、模型类型、评估方法等；(5) 对提取的信息进行归纳和分析，总结研究结果和局限性。

关键创新：该研究的关键创新在于对LLMs在K-12 STEM教育中应用的提示工程进行了系统性的综述。与以往的研究相比，该研究更加关注提示工程的具体策略，并分析了不同策略对模型性能的影响。此外，该研究还强调了在真实教育场景中进行实证验证的重要性。

关键设计：研究中关键的设计包括：(1) 严格的文献筛选标准，确保纳入高质量的实证研究；(2) 详细的信息提取表格，用于记录每个研究的提示策略、模型类型、评估方法等；(3) 对提取的信息进行定量和定性分析，从而得出可靠的结论。研究未涉及具体的参数设置、损失函数或网络结构，因为其重点在于综述和分析已有的研究成果。

📊 实验亮点

研究表明，虽然简单和零样本提示很常用，但像少样本和思维链提示等更高级的技术在各种教育任务中表现出积极成果。在特定情况下，较小且经过微调的模型（例如，Blender 7B）与有效的提示工程相结合，优于提示较大的模型（例如，GPT-3）。这些发现强调了提示工程在优化LLMs性能中的重要性。

🎯 应用场景

该研究结果可应用于K-12 STEM教育领域，为教师和教育工作者提供关于如何有效利用LLMs和提示工程来改善教学和学习的指导。通过选择合适的提示策略和模型，可以提高学生的学习效果，并为个性化学习提供支持。未来的研究可以进一步探索LLMs在不同STEM学科中的应用，并开发更有效的提示工程技术。

📄 摘要（原文）

Large language models (LLMs) have the potential to enhance K-12 STEM education by improving both teaching and learning processes. While previous studies have shown promising results, there is still a lack of comprehensive understanding regarding how LLMs are effectively applied, specifically through prompt engineering-the process of designing prompts to generate desired outputs. To address this gap, our study investigates empirical research published between 2021 and 2024 that explores the use of LLMs combined with prompt engineering in K-12 STEM education. Following the PRISMA protocol, we screened 2,654 papers and selected 30 studies for analysis. Our review identifies the prompting strategies employed, the types of LLMs used, methods of evaluating effectiveness, and limitations in prior work. Results indicate that while simple and zero-shot prompting are commonly used, more advanced techniques like few-shot and chain-of-thought prompting have demonstrated positive outcomes for various educational tasks. GPT-series models are predominantly used, but smaller and fine-tuned models (e.g., Blender 7B) paired with effective prompt engineering outperform prompting larger models (e.g., GPT-3) in specific contexts. Evaluation methods vary significantly, with limited empirical validation in real-world settings.