"Did my figure do justice to the answer?" : Towards Multimodal Short Answer Grading with Feedback (MMSAF)

📄 arXiv: 2412.19755v3 📥 PDF

作者: Pritam Sil, Pushpak Bhattacharyya

分类: cs.AI

发布日期: 2024-12-27 (更新: 2025-05-21)

💡 一句话要点

提出MMSAF：一个多模态短答案评分与反馈问题及数据集，用于提升开放式问题自动评分。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 短答案评分 自动反馈 大型语言模型 教育评估

📋 核心要点

  1. 现有开放式问题评分方法难以规模化，且缺乏对文本和视觉信息综合理解的能力。
  2. 提出MMSAF问题和数据集，旨在推动多模态大型语言模型在短答案评分和反馈生成方面的研究。
  3. 实验表明，现有MLLM在答案正确性判断和图像相关性判断方面仍有提升空间，准确率分别为55%和75%。

📝 摘要（中文）

评估在学生的学习过程中起着至关重要的作用，因为它们提供了对学生成长至关重要的宝贵反馈。这些评估包含开放式问题，难以大规模评分。这些回答通常需要学生通过文本和视觉元素作为一个整体来表达他们的理解。为了开发此类问题的可扩展评估工具，需要具有跨多种模态的强大比较推理能力的多模态LLM。因此，为了促进该领域的研究，我们提出了多模态短答案评分与反馈（MMSAF）问题，以及包含2,197个数据点的数据集。此外，我们还提供了一个用于生成此类数据集的自动化框架。根据我们的评估，现有的多模态大型语言模型（MLLM）可以预测答案是正确、不正确还是部分正确，准确率为55%。同样，他们可以预测学生答案中提供的图像是否相关，准确率为75%。根据人类专家的说法，Pixtral在生物学方面更符合人类的判断和价值观，而ChatGPT在物理和化学方面更符合，并且在大多数参数中都达到了5分中的4分或更高的分数。

🔬 方法详解

问题定义：论文旨在解决开放式问题自动评分的问题，特别是那些需要学生结合文本和图像来表达答案的问题。现有方法难以处理这种多模态输入，并且缺乏提供有效反馈的能力，限制了其在教育领域的应用。

核心思路：论文的核心思路是利用多模态大型语言模型（MLLM）的强大推理能力，对学生的文本和图像答案进行综合分析，从而判断答案的正确性，并提供有针对性的反馈。通过构建包含文本和图像答案的数据集，并设计相应的评估指标，来推动MLLM在该领域的应用。

技术框架：论文提出了一个MMSAF框架，包含以下几个主要模块：1）数据收集与标注：收集包含文本和图像答案的开放式问题数据集，并进行正确性、相关性等标注。2）模型训练与评估：利用MLLM对数据集进行训练，并使用准确率等指标评估模型的性能。3）反馈生成：基于模型的分析结果，生成针对学生答案的个性化反馈。

关键创新：论文的关键创新在于提出了MMSAF问题，并构建了相应的数据集，为多模态短答案评分领域的研究提供了基础。此外，论文还探索了现有MLLM在该问题上的性能，并分析了其优缺点，为未来的研究方向提供了指导。

关键设计：论文的关键设计包括：1）数据集的构建：数据集包含2,197个数据点，涵盖多个学科，并对答案的正确性和图像的相关性进行了标注。2）评估指标的选择：论文使用准确率来评估模型在答案正确性判断和图像相关性判断方面的性能。3）模型选择：论文评估了多个现有的MLLM，包括Pixtral和ChatGPT，并分析了它们在不同学科上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有MLLM在MMSAF数据集上的表现仍有提升空间。答案正确性判断的准确率为55%，图像相关性判断的准确率为75%。Pixtral在生物学方面更符合人类判断，ChatGPT在物理和化学方面表现更好。这些结果为未来研究提供了改进方向。

🎯 应用场景

该研究成果可应用于在线教育平台、智能辅导系统等领域，实现对学生开放式问题的自动评分和个性化反馈，减轻教师负担，提高教学效率。未来，该技术还可扩展到其他需要多模态信息理解的领域，如智能客服、内容创作等。

📄 摘要（原文）

Assessments play a vital role in a student's learning process. This is because they provide valuable feedback crucial to a student's growth. Such assessments contain questions with open-ended responses, which are difficult to grade at scale. These responses often require students to express their understanding through textual and visual elements together as a unit. In order to develop scalable assessment tools for such questions, one needs multimodal LLMs having strong comparative reasoning capabilities across multiple modalities. Thus, to facilitate research in this area, we propose the Multimodal Short Answer grading with Feedback (MMSAF) problem along with a dataset of 2,197 data points. Additionally, we provide an automated framework for generating such datasets. As per our evaluations, existing Multimodal Large Language Models (MLLMs) could predict whether an answer is correct, incorrect or partially correct with an accuracy of 55%. Similarly, they could predict whether the image provided in the student's answer is relevant or not with an accuracy of 75%. As per human experts, Pixtral was more aligned towards human judgement and values for biology and ChatGPT for physics and chemistry and achieved a score of 4 or more out of 5 in most parameters.