Assessment of Evolving Large Language Models in Upper Secondary Mathematics

📄 arXiv: 2504.12347v2 📥 PDF

作者: Mika Setälä, Pieta Sikström, Ville Heilala, Tommi Kärkkäinen

分类: cs.CL, cs.AI, cs.CY

发布日期: 2025-04-15 (更新: 2025-06-11)

💡 一句话要点

评估大型语言模型在高中数学考试中的能力演进

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 数学能力评估 教育应用 高风险考试 芬兰大学入学考试

📋 核心要点

  1. 现有研究对LLM的数学能力评估不足，尤其是在高风险考试场景下的表现。
  2. 该研究使用芬兰大学入学考试评估不同LLM的数学能力，考察其演进过程。
  3. 实验结果表明，LLM的数学能力随时间显著提升，部分模型达到顶尖学生水平。

📝 摘要（中文）

大型语言模型(LLMs)在教育领域展现出日益增长的潜力，但其数学推理能力被认为是不断发展的。本研究利用芬兰大学入学考试（一项针对高中教育的高风险数字测试）评估了各种LLMs的数学能力。初步测试结果表现一般，相当于中等成绩，但后来的评估表明，随着语言模型的演进，其性能得到了显著提高。值得注意的是，一些模型取得了接近完美或完美的分数，与顶尖学生的表现相匹配，并具备了进入大学的资格。我们的研究结果突出了LLMs数学水平的快速进步，并说明了它们作为底层工具在支持各种学习和教学方式方面的潜力。

🔬 方法详解

问题定义：论文旨在评估大型语言模型（LLMs）在解决高中数学问题方面的能力，并观察其随时间演进的性能变化。现有方法缺乏对LLMs在高风险考试场景下数学能力的系统评估，无法准确反映其在教育领域的潜在应用价值。

核心思路：论文的核心思路是利用芬兰大学入学考试（Finnish matriculation examination）这一高标准、高难度的数学测试，作为评估LLMs数学能力的基准。通过对比不同时间段的LLMs在同一测试上的表现，来分析其数学能力的演进趋势。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 选择不同时间段发布的LLMs；2) 将芬兰大学入学考试的数学试题输入到LLMs中；3) 评估LLMs的答案，并将其与学生的答案进行比较；4) 分析LLMs的得分情况，并观察其随时间的变化趋势。没有明确提及复杂的架构或流程，重点在于评估过程。

关键创新：该研究的关键创新在于使用真实的高风险考试作为评估LLMs数学能力的基准，这比以往使用合成数据集或简单数学题的评估方法更具实际意义和参考价值。此外，该研究还关注了LLMs数学能力的演进过程，揭示了其在教育领域应用的潜力。

关键设计：论文没有详细描述LLMs的具体参数设置或网络结构，而是侧重于评估过程和结果分析。关键设计在于选择了芬兰大学入学考试作为评估工具，并对不同时间段的LLMs进行了对比测试。具体的评分标准和评估指标未在摘要中详细说明。

🖼️ 关键图片

fig_0

📊 实验亮点

研究结果显示，LLMs的数学能力随时间显著提升，部分模型在芬兰大学入学考试中取得了接近完美或完美的分数，与顶尖学生的表现相匹配。这表明LLMs在解决复杂数学问题方面具有巨大的潜力，并有望在教育领域发挥重要作用。具体的性能数据和提升幅度需要在原文中查找。

🎯 应用场景

该研究表明LLMs在教育领域具有广阔的应用前景，例如辅助教学、个性化学习、自动评分等。随着LLMs数学能力的不断提升，它们有望成为教师和学生的有力助手，提高教学效率和学习效果。未来，可以将LLMs应用于更广泛的教育场景，并探索其在其他学科领域的应用潜力。

📄 摘要（原文）

Large language models (LLMs) have shown increasing promise in educational settings, yet their mathematical reasoning has been considered evolving. This study evaluates the mathematical capabilities of various LLMs using the Finnish matriculation examination, a high-stakes digital test for upper secondary education. Initial tests yielded moderate performance corresponding to mid-range grades, but later evaluations demonstrated substantial improvements as the language models evolved. Remarkably, some models achieved near-perfect or perfect scores, matching top student performance and qualifying for university admission. Our findings highlight the rapid advances in the mathematical proficiency of LLMs and illustrate their potential as underlying tools to support learning and teaching in a variety of ways.