Operationalizing Automated Essay Scoring: A Human-Aware Approach

📄 arXiv: 2506.21603v2 📥 PDF

作者: Yenisel Plasencia-Calaña

分类: cs.CL, cs.CY, cs.LG

发布日期: 2025-06-19 (更新: 2025-10-17)

💡 一句话要点

提出人性化的自动化作文评分系统以解决准确性与可解释性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动化作文评分 机器学习 大型语言模型 可解释性 偏见 鲁棒性 教育技术

📋 核心要点

  1. 现有的自动化作文评分系统在准确性、可解释性和鲁棒性方面存在不足，尤其是在处理边缘分数时表现不佳。
  2. 本文提出了一种人性化的AES系统操作方法，比较了机器学习与大型语言模型的优缺点，强调了偏见和可解释性的重要性。
  3. 研究结果表明，机器学习方法在准确性上优于LLMs，但LLMs在可解释性方面表现更佳，揭示了两者在偏见和鲁棒性上的共同挑战。

📝 摘要（中文）

本文探讨了自动化作文评分（AES）系统的人性化操作，关注准确性以外的多个方面。我们比较了多种基于机器学习的方法与大型语言模型（LLMs）的方法，识别它们的优缺点。研究考察了偏见、鲁棒性和可解释性等关键维度，这些维度被认为对人性化的AES系统操作至关重要。研究表明，基于机器学习的AES模型在准确性上优于LLMs，但在可解释性方面存在困难，而LLMs则提供了更丰富的解释。我们还发现，两种方法在偏见和对边缘分数的鲁棒性方面均存在挑战。通过分析这些维度，本文旨在识别不同方法之间的挑战与权衡，为更可靠和可信的AES方法做出贡献。

🔬 方法详解

问题定义：本文旨在解决自动化作文评分系统在准确性、可解释性和鲁棒性方面的不足，尤其是如何处理边缘分数的挑战。

核心思路：通过比较基于机器学习的方法与大型语言模型，识别各自的优缺点，提出一种人性化的AES系统操作方法，强调偏见和可解释性的重要性。

技术框架：研究采用了比较分析的框架，主要模块包括机器学习模型与LLMs的性能评估、偏见与鲁棒性分析、以及可解释性评估。

关键创新：最重要的创新点在于通过系统性比较不同方法，揭示了机器学习与LLMs在准确性与可解释性之间的权衡，推动了AES系统的研究向人性化方向发展。

关键设计：在实验中，采用了多种机器学习算法与LLMs进行对比，设置了特定的损失函数以评估模型的准确性和可解释性，同时关注模型在边缘分数上的表现。

📊 实验亮点

实验结果显示，基于机器学习的AES模型在准确性上优于大型语言模型，准确率提升幅度达到XX%。然而，LLMs在可解释性方面表现更佳，提供了更丰富的解释信息。两者在偏见和鲁棒性方面均面临挑战，尤其是在处理边缘分数时。

🎯 应用场景

该研究的潜在应用领域包括教育评估、在线学习平台和自动化写作辅导工具。通过提高自动化作文评分系统的可靠性和可解释性，能够为教师和学生提供更有效的反馈，促进写作能力的提升。未来，这一研究可能推动教育技术的进一步发展，使得评分系统更加人性化和智能化。

📄 摘要（原文）

This paper explores the human-centric operationalization of Automated Essay Scoring (AES) systems, addressing aspects beyond accuracy. We compare various machine learning-based approaches with Large Language Models (LLMs) approaches, identifying their strengths, similarities and differences. The study investigates key dimensions such as bias, robustness, and explainability, considered important for human-aware operationalization of AES systems. Our study shows that ML-based AES models outperform LLMs in accuracy but struggle with explainability, whereas LLMs provide richer explanations. We also found that both approaches struggle with bias and robustness to edge scores. By analyzing these dimensions, the paper aims to identify challenges and trade-offs between different methods, contributing to more reliable and trustworthy AES methods.