Automatic Generation of Question Hints for Mathematics Problems using Large Language Models in Educational Technology
作者: Junior Cedric Tonga, Benjamin Clement, Pierre-Yves Oudeyer
分类: cs.CL, cs.AI
发布日期: 2024-11-05
备注: Accepted at NeurIPS 2024 Workshop on Large Foundation Models for Educational Assessment (FM-Assess)
💡 一句话要点
利用大型语言模型自动生成数学问题提示，提升智能辅导系统效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 智能辅导系统 自动提示生成 教育技术 数学问题解决
📋 核心要点
- 智能辅导系统（ITS）中利用LLM自动生成提示具有增强学生学习的潜力，但生成具有教学意义且能解决学生误解的提示仍然具有挑战。
- 本研究探索使用LLM作为教师，为模拟学生生成数学练习提示，旨在提高学生自我纠错能力，并比较不同LLM作为教师的性能。
- 实验结果表明，Llama-3-8B-Instruct作为教师的整体表现优于GPT-4o，且LLM作为学生的问题解决能力在收到提示后显著提高，尤其是在较低温度设置下。
📝 摘要（中文）
本研究探索了利用大型语言模型（LLMs）（GPT-4o和Llama-3-8B-instruct）作为教师，为通过LLMs（GPT-3.5-turbo、Llama-3-8B-Instruct或Mistral-7B-instruct-v0.3）模拟的学生生成有效的数学练习提示。这些练习专为高中生设计，并基于认知科学原理。研究考察了多个维度：1) 识别模拟学生在中学数学练习中出现的错误模式；2) 为GPT-4o设计各种提示，并评估其在生成能够帮助模拟学生自我纠正的提示方面的有效性；3) 使用Llama-3-8B-Instruct作为教师测试表现最佳的提示，并与GPT-4o进行性能比较。结果表明，模型错误率随温度设置的升高而增加。值得注意的是，当提示由GPT-4o生成时，最有效的提示包括针对特定错误的提示以及基于常见数学错误提供的通用提示。有趣的是，Llama-3-8B-Instruct作为教师表现出比GPT-4o更好的整体性能。此外，LLMs作为学生的问题解决和响应修改能力，尤其是在较低温度设置下，在收到提示后得到了显著提高。然而，像Mistral-7B-Instruct这样的模型，其性能随着温度的升高而下降。
🔬 方法详解
问题定义：论文旨在解决智能辅导系统中自动生成高质量数学问题提示的难题。现有方法难以针对学生的具体错误模式提供个性化、有效的提示，从而限制了学生自我纠错和深度学习的效果。
核心思路：论文的核心思路是将大型语言模型（LLMs）作为教师，利用其强大的语言理解和生成能力，为模拟学生生成定制化的数学问题提示。通过模拟学生解决问题的过程，并分析其错误模式，LLM教师可以生成针对性强的提示，帮助学生发现并纠正错误。
技术框架：整体框架包含两个主要部分：模拟学生和LLM教师。模拟学生由不同的LLM（如GPT-3.5-turbo、Llama-3-8B-Instruct、Mistral-7B-instruct-v0.3）扮演，负责解决数学问题并产生错误。LLM教师（GPT-4o或Llama-3-8B-Instruct）则根据模拟学生的错误模式，生成相应的提示。研究人员设计了不同的提示策略，并评估其在提高学生自我纠错能力方面的有效性。
关键创新：该研究的关键创新在于将LLM应用于自动生成个性化数学问题提示，并系统地评估了不同LLM作为教师的性能。与传统方法相比，该方法能够更灵活地适应学生的学习需求，并提供更具针对性的指导。此外，研究还探索了不同提示策略对学生学习效果的影响。
关键设计：研究中涉及的关键设计包括：1) 数学问题的选择，确保其难度适合高中生水平，并涵盖不同的数学概念；2) 模拟学生的LLM选择，涵盖不同规模和架构的模型；3) 提示策略的设计，包括通用提示和针对特定错误的提示；4) 温度参数的设置，用于控制LLM生成提示的随机性；5) 评估指标的选择，用于衡量提示的有效性和学生的自我纠错能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Llama-3-8B-Instruct作为教师的整体表现优于GPT-4o。当提示由GPT-4o生成时，针对特定错误的提示以及基于常见数学错误的通用提示效果最佳。此外，LLMs作为学生的问题解决能力在收到提示后显著提高，尤其是在较低温度设置下。例如，GPT-3.5-turbo在接收提示后，问题解决能力显著提升。
🎯 应用场景
该研究成果可应用于智能辅导系统、在线教育平台和个性化学习工具中，为学生提供定制化的数学问题提示，提高学习效率和效果。通过将LLM作为教师，可以有效解决传统方法在生成高质量提示方面的局限性，并促进学生的自主学习和深度理解。未来，该技术还可扩展到其他学科和领域。
📄 摘要（原文）
The automatic generation of hints by Large Language Models (LLMs) within Intelligent Tutoring Systems (ITSs) has shown potential to enhance student learning. However, generating pedagogically sound hints that address student misconceptions and adhere to specific educational objectives remains challenging. This work explores using LLMs (GPT-4o and Llama-3-8B-instruct) as teachers to generate effective hints for students simulated through LLMs (GPT-3.5-turbo, Llama-3-8B-Instruct, or Mistral-7B-instruct-v0.3) tackling math exercises designed for human high-school students, and designed using cognitive science principles. We present here the study of several dimensions: 1) identifying error patterns made by simulated students on secondary-level math exercises; 2) developing various prompts for GPT-4o as a teacher and evaluating their effectiveness in generating hints that enable simulated students to self-correct; and 3) testing the best-performing prompts, based on their ability to produce relevant hints and facilitate error correction, with Llama-3-8B-Instruct as the teacher, allowing for a performance comparison with GPT-4o. The results show that model errors increase with higher temperature settings. Notably, when hints are generated by GPT-4o, the most effective prompts include prompts tailored to specific errors as well as prompts providing general hints based on common mathematical errors. Interestingly, Llama-3-8B-Instruct as a teacher showed better overall performance than GPT-4o. Also the problem-solving and response revision capabilities of the LLMs as students, particularly GPT-3.5-turbo, improved significantly after receiving hints, especially at lower temperature settings. However, models like Mistral-7B-Instruct demonstrated a decline in performance as the temperature increased.