Findings of MEGA: Maths Explanation with LLMs using the Socratic Method for Active Learning
作者: Tosin Adewumi, Foteini Simistira Liwicki, Marcus Liwicki, Viktor Gardelli, Lama Alkhaled, Hamam Mokayed
分类: cs.CL
发布日期: 2025-07-16
备注: This paper was accepted for the special issue AI for Education by the IEEE Signal Processing Magazine journal
💡 一句话要点
MEGA：结合苏格拉底教学法和LLM的数学解释方法，提升学生学习效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 苏格拉底教学法 大型语言模型 数学教育 思维链 个性化学习
📋 核心要点
- 传统数学教学方法存在不足，导致学生对数学学习产生畏惧心理，影响相关学科的学习。
- MEGA方法结合苏格拉底教学法、思维链、游戏化和反馈，利用LLM提供个性化数学辅导。
- 实验表明，MEGA方法在提升学生对数学难题的理解方面优于传统CoT方法，尤其是在MATH数据集上。
📝 摘要（中文）
本文提出了一项干预研究，旨在探索结合苏格拉底教学法、思维链（CoT）推理、简化游戏化和形成性反馈等方法，利用大型语言模型（LLM）驱动的数学学习对大学生学习效果的影响。该方法被命名为“通过AI LLM游戏进行数学解释”（MEGA）。许多学生在数学学习方面存在困难，因此回避与数学相关的学科，尽管数学在包括信号处理在内的许多领域都至关重要。学生在数学方面的困难通常源于次优的教学方法。本文将MEGA方法与传统的逐步（CoT）方法进行比较，以确定哪种方法更好。采用组内设计，在随机分配问题后，参与者为大学生。从Grade School Math 8K (GSM8K)和Mathematics Aptitude Test of Heuristics (MATH)数据集中随机抽取样本（n=60），误差率为11%，置信水平为90%。这些样本用于评估两种有能力的LLM（Generative Pretrained Transformer 4o (GPT4o)和Claude 3.5 Sonnet）。结果表明，学生们普遍认为MEGA方法更有利于学习，尤其是在更困难的MATH数据集中，MEGA优于CoT（47.5% vs 26.67%），表明MEGA更擅长解释困难的数学问题。
🔬 方法详解
问题定义：论文旨在解决大学生在数学学习中遇到的困难，特别是由于传统教学方法的不足导致的学习效果不佳问题。现有方法，如简单的思维链（CoT）推理，可能无法充分激发学生的学习兴趣和理解能力，尤其是在面对较为复杂的数学问题时。
核心思路：论文的核心思路是将苏格拉底教学法融入到LLM驱动的数学解释中。苏格拉底教学法强调通过提问引导学生主动思考，从而加深理解。结合思维链推理，LLM可以逐步引导学生解决问题。此外，通过游戏化和形成性反馈，增强学生的学习动力和参与度。
技术框架：MEGA方法的技术框架主要包括以下几个模块：1) LLM选择与训练：选择具有强大数学推理能力的LLM，如GPT4o和Claude 3.5 Sonnet。2) 苏格拉底式提问生成：设计算法生成引导性问题，这些问题旨在激发学生的思考，而不是直接给出答案。3) 思维链推理：LLM通过思维链逐步展示解题过程，确保学生能够理解每一步的逻辑。4) 游戏化元素：将学习过程融入游戏元素，如积分、奖励等，提高学生的学习兴趣。5) 形成性反馈：根据学生的回答和解题过程，提供个性化的反馈，帮助学生纠正错误和加深理解。
关键创新：MEGA方法的关键创新在于将苏格拉底教学法与LLM相结合，创造了一种更具互动性和启发性的数学学习体验。与传统的CoT方法相比，MEGA方法更注重引导学生主动思考，而不是简单地提供答案。这种方法能够更好地激发学生的学习兴趣，提高学习效果。
关键设计：论文中关键的设计包括：1) 苏格拉底式提问的设计原则，需要确保问题既能引导学生思考，又不会过于困难导致学生失去信心。2) 游戏化元素的具体实现方式，需要确保游戏元素能够真正提高学生的学习动力，而不是分散学生的注意力。3) 形成性反馈的内容和时机，需要确保反馈能够及时帮助学生纠正错误，并加深对知识点的理解。具体的参数设置、损失函数、网络结构等技术细节未知。
📊 实验亮点
实验结果表明，MEGA方法在提升学生对数学难题的理解方面优于传统的CoT方法。在更困难的MATH数据集上，学生认为MEGA方法更有利于学习的比例为47.5%，而CoT方法仅为26.67%。这表明MEGA方法在解释困难数学问题方面具有显著优势。
🎯 应用场景
MEGA方法具有广泛的应用前景，可用于开发个性化的数学辅导系统，帮助学生克服学习困难，提高数学成绩。该方法还可以应用于其他学科的学习，例如物理、化学等，通过引导式提问和个性化反馈，提高学生的学习效果。未来，MEGA方法有望成为一种重要的教育工具，促进个性化学习的发展。
📄 摘要（原文）
This paper presents an intervention study on the effects of the combined methods of (1) the Socratic method, (2) Chain of Thought (CoT) reasoning, (3) simplified gamification and (4) formative feedback on university students' Maths learning driven by large language models (LLMs). We call our approach Mathematics Explanations through Games by AI LLMs (MEGA). Some students struggle with Maths and as a result avoid Math-related discipline or subjects despite the importance of Maths across many fields, including signal processing. Oftentimes, students' Maths difficulties stem from suboptimal pedagogy. We compared the MEGA method to the traditional step-by-step (CoT) method to ascertain which is better by using a within-group design after randomly assigning questions for the participants, who are university students. Samples (n=60) were randomly drawn from each of the two test sets of the Grade School Math 8K (GSM8K) and Mathematics Aptitude Test of Heuristics (MATH) datasets, based on the error margin of 11%, the confidence level of 90%, and a manageable number of samples for the student evaluators. These samples were used to evaluate two capable LLMs at length (Generative Pretrained Transformer 4o (GPT4o) and Claude 3.5 Sonnet) out of the initial six that were tested for capability. The results showed that students agree in more instances that the MEGA method is experienced as better for learning for both datasets. It is even much better than the CoT (47.5% compared to 26.67%) in the more difficult MATH dataset, indicating that MEGA is better at explaining difficult Maths problems.