Auditing an Automatic Grading Model with deep Reinforcement Learning

📄 arXiv: 2405.07087v1 📥 PDF

作者: Aubrey Condor, Zachary Pardos

分类: cs.AI, cs.ET, cs.LG

发布日期: 2024-05-11

💡 一句话要点

利用深度强化学习审计自动评分模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动评分 深度强化学习 教育技术 模型审计 评分一致性 优化算法

📋 核心要点

  1. 现有的自动评分模型缺乏稳健的评估方法，导致对其评分质量的怀疑。
  2. 本文提出利用深度强化学习训练代理，优化学生回答以获得更高的自动评分。
  3. 通过实验发现，代理修改的回答可以获得高分，但并不符合传统评分标准，揭示了模型的漏洞。

📝 摘要（中文）

本文探讨了使用深度强化学习对自动短答案评分（ASAG）模型进行审计的方法。尽管自动评分可以减轻教育工作者对开放性问题的评分负担，但缺乏稳健的评估方法可能导致对模型质量的怀疑。目前的ASAG模型通常通过与训练集中的人类评分匹配来配置，研究者通常使用准确性指标来评估模型质量。然而，本文表明，高度一致的人类评分并不足以证明ASAG模型的可靠性。我们训练了一个强化学习代理，旨在通过最少的修改次数获得ASAG模型的高评分。通过分析代理修改的学生回答，发现这些回答虽然在ASAG模型中获得高分，但根据评分标准并不被视为高分回答，从而揭示了自动评分模型的不足之处。

🔬 方法详解

问题定义：本文旨在解决自动短答案评分模型（ASAG）在评分质量评估中的不足，现有方法主要依赖于与人类评分的一致性，而缺乏对模型潜在缺陷的深入分析。

核心思路：通过训练一个深度强化学习代理，优化学生的回答，使其在最少修改次数的情况下获得ASAG模型的高评分，从而揭示模型的潜在漏洞。

技术框架：整体架构包括数据收集、代理训练、回答修改和评分评估四个主要模块。代理通过与ASAG模型的交互学习如何修改回答以获得更高的评分。

关键创新：本文的创新在于利用强化学习方法审计自动评分模型，揭示了高评分与实际评分标准之间的差异，挑战了传统的评分一致性评估方法。

关键设计：在训练过程中，设置了特定的奖励机制，以鼓励代理在最少修改下获得高分，同时采用了适应性损失函数来优化代理的学习过程。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，经过强化学习训练的代理能够在最少的修改次数下获得ASAG模型的高评分，且这些回答在传统评分标准下并不被视为高分，揭示了模型的潜在漏洞。这一发现为改进自动评分系统提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括教育技术、在线学习平台和自动评分系统。通过审计和优化自动评分模型，可以提高评分的准确性和可靠性，从而为教育工作者提供更有效的工具，减轻他们的工作负担，并提升学生的学习体验。

📄 摘要（原文）

We explore the use of deep reinforcement learning to audit an automatic short answer grading (ASAG) model. Automatic grading may decrease the time burden of rating open-ended items for educators, but a lack of robust evaluation methods for these models can result in uncertainty of their quality. Current state-of-the-art ASAG models are configured to match human ratings from a training set, and researchers typically assess their quality with accuracy metrics that signify agreement between model and human scores. In this paper, we show that a high level of agreement to human ratings does not give sufficient evidence that an ASAG model is infallible. We train a reinforcement learning agent to revise student responses with the objective of achieving a high rating from an automatic grading model in the least number of revisions. By analyzing the agent's revised responses that achieve a high grade from the ASAG model but would not be considered a high scoring responses according to a scoring rubric, we discover ways in which the automated grader can be exploited, exposing shortcomings in the grading model.