Automated Grading of Students' Handwritten Graphs: A Comparison of Meta-Learning and Vision-Large Language Models

📄 arXiv: 2507.03056v1 📥 PDF

作者: Behnam Parsaeifard, Martin Hlosta, Per Bergamin

分类: cs.LG, cs.AI

发布日期: 2025-07-03

💡 一句话要点

对比元学习与视觉大语言模型，实现学生手写图表的自动评分

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动评分 手写图表 元学习 视觉大语言模型 多模态学习

📋 核心要点

  1. 现有自动评分方法主要集中于文本和数学表达式，缺乏对手写图表的有效处理，这在STEM教育中是一个重要缺口。
  2. 该研究探索使用多模态元学习模型和视觉大语言模型（VLLM）来自动评分包含手写图表和文本的图像。
  3. 实验结果表明，元学习模型在二分类任务中表现更优，而VLLM在更复杂的三分类任务中略胜一筹，但VLLM的可靠性仍需考察。

📝 摘要（中文）

随着在线学习的兴起，过去十年对数学领域高效且一致的评估需求显著增加。机器学习（ML），特别是自然语言处理（NLP），已被广泛用于自动评分学生的回答，尤其是涉及文本和/或数学表达式的回答。然而，尽管学生手写图表在科学、技术、工程和数学（STEM）课程中普遍存在，但对其自动评分的研究却有限。本研究实现了多模态元学习模型，用于自动评分包含学生手写图表和文本的图像。我们进一步将视觉大语言模型（VLLM）的性能与这些专门训练的元学习模型进行了比较。在从我们机构收集的真实数据集上进行的评估结果表明，性能最佳的元学习模型在二分类任务中优于VLLM。相反，在更复杂的三分类任务中，性能最佳的VLLM略微优于元学习模型。虽然VLLM显示出有希望的结果，但它们的可靠性和实际适用性仍然不确定，需要进一步研究。

🔬 方法详解

问题定义：论文旨在解决学生手写图表的自动评分问题。现有自动评分系统主要针对文本和数学公式，无法有效处理包含手写图表和文本的混合输入。这导致在STEM教育中，对学生手绘图表的评估仍然依赖于人工，效率低下且容易出现主观偏差。

核心思路：论文的核心思路是利用机器学习模型，特别是元学习和视觉大语言模型，学习如何自动评估学生手写图表。通过训练模型识别图表中的关键特征，并结合文本信息进行综合判断，从而实现自动评分。元学习方法旨在通过少量样本快速适应新的评分任务，而VLLM则利用其强大的视觉理解能力来处理图表图像。

技术框架：整体框架包含数据预处理、模型训练和评估三个主要阶段。数据预处理阶段包括图像清洗、文本提取和数据增强等操作。模型训练阶段分别训练元学习模型和VLLM。评估阶段使用真实数据集对训练好的模型进行性能评估，并比较不同模型的优劣。

关键创新：论文的关键创新在于对手写图表自动评分任务的探索，以及对元学习和视觉大语言模型在该任务上的性能比较。现有研究较少关注手写图表的自动评分，而该论文填补了这一空白。此外，通过对比元学习和VLLM，为选择合适的模型提供了参考。

关键设计：论文中，元学习模型采用了基于度量学习的方法，通过学习样本之间的相似度来进行分类。VLLM则采用了预训练的视觉模型作为 backbone，并结合文本编码器进行多模态特征融合。具体的参数设置、损失函数和网络结构等技术细节在论文中进行了详细描述（具体细节未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在二分类任务中，元学习模型优于视觉大语言模型（VLLM）。但在更复杂的三分类任务中，VLLM略微优于元学习模型。这些结果表明，对于不同复杂度的评分任务，应选择合适的模型。虽然VLLM表现出潜力，但其可靠性和实际应用仍需进一步研究。

🎯 应用场景

该研究成果可应用于在线教育平台、自动化考试系统和作业批改软件等领域，能够显著提高评分效率，降低人工成本，并提供更客观、一致的评估结果。未来，该技术有望扩展到其他类型的手写内容评估，例如手写公式、电路图等，具有广阔的应用前景。

📄 摘要（原文）

With the rise of online learning, the demand for efficient and consistent assessment in mathematics has significantly increased over the past decade. Machine Learning (ML), particularly Natural Language Processing (NLP), has been widely used for autograding student responses, particularly those involving text and/or mathematical expressions. However, there has been limited research on autograding responses involving students' handwritten graphs, despite their prevalence in Science, Technology, Engineering, and Mathematics (STEM) curricula. In this study, we implement multimodal meta-learning models for autograding images containing students' handwritten graphs and text. We further compare the performance of Vision Large Language Models (VLLMs) with these specially trained metalearning models. Our results, evaluated on a real-world dataset collected from our institution, show that the best-performing meta-learning models outperform VLLMs in 2-way classification tasks. In contrast, in more complex 3-way classification tasks, the best-performing VLLMs slightly outperform the meta-learning models. While VLLMs show promising results, their reliability and practical applicability remain uncertain and require further investigation.