Machine--human agreement in marking undergraduate assignments is specific to model, prompt and institution
作者: Giulio Corsi, Maryam Abo-Tabik, Yael Benn, Georgiana Thorpe Apreutesei, Roni Tibon, Alexandru Marcoci, Deborah Talmi
分类: cs.CL
发布日期: 2026-10-13
💡 一句话要点
评估本科作业的机器与人类评分一致性受模型、提示和机构影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 教育评估 人机一致性 心理学作业 多机构研究
📋 核心要点
- 现有的评估方法通常只针对单一模型和提示，缺乏跨机构的普适性，导致评估结果不一致。
- 论文通过对三种前沿LLM进行评估，提出了在多机构和多提示下分析人机评分一致性的研究方法。
- 实验结果显示，所有模型均存在评分偏差，且集成模型未能改善这一问题，表明当前LLM在评估能力上的局限性。
📝 摘要（中文）
大型语言模型（LLMs）有潜力自动化高等教育中资源密集的学生写作评估工作。现有评估通常局限于单一模型、单一提示和单一机构。本文使用来自三所英国大学的761份心理学本科作业，评估了三种前沿LLM的准确性、提示敏感性、错误独立性、可推广性和证据基础。人机评分一致性差异显著，未发现在所有机构中表现最佳的模型或提示。所有模型的评分趋向于共同的中心倾向，过高估计较弱的作业，低估较强的作业。由于这种错误是共享的，集成模型未能消除它。机器评分对语言特征的奖励强于人类评分。由于人机一致性是模型、提示和机构的共同产物，当前LLM缺乏可跨上下文转移的评估能力，单一上下文验证夸大了其部署的准备性。
🔬 方法详解
问题定义：本文旨在解决现有大型语言模型在评估本科作业时的一致性和准确性问题。现有方法通常只在单一上下文中进行验证，导致评估结果缺乏普适性和可靠性。
核心思路：通过对三种不同的LLM进行评估，结合多种提示和来自不同机构的作业，分析人机评分的一致性及其影响因素，以揭示模型的局限性。
技术框架：研究采用了761份来自三所英国大学的心理学作业，评估了模型的准确性、提示敏感性、错误独立性、可推广性和证据基础，形成了一个多维度的评估框架。
关键创新：本研究的创新点在于首次系统性地比较了多种LLM在不同机构和提示下的表现，揭示了人机评分一致性受多种因素影响的复杂性。
关键设计：在实验中，模型的选择、提示的设计以及评分标准的制定都经过精心设计，以确保评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，三种LLM在不同机构和提示下的评分一致性差异显著，所有模型均存在评分偏差，未能有效消除对弱作业的过高估计和对强作业的低估。集成模型未能改善这一问题，表明当前LLM在评估能力上的局限性。
🎯 应用场景
该研究的潜在应用领域包括高等教育的自动化评估系统、教育技术工具的开发以及对现有评估方法的改进。通过提高评估的一致性和准确性，可以减轻教师的工作负担，并提升学生的学习体验。未来，研究结果可能推动更智能的教育评估工具的普及与应用。
📄 摘要（原文）
Large language models (LLMs) promise to automate one of higher education's most resource-intensive activities: assessing student writing. Existing evaluations are typically limited to a single model, a single prompt and a single institution. Using 761 undergraduate psychology assignments from three UK universities, we evaluated three frontier LLMs, individually and in ensemble, on accuracy, prompt sensitivity, error independence, generalisability and evidential basis. Agreement between human and machine marks varied widely, with no model or prompt optimal across institutions. All models compressed marks towards a common central tendency, overvaluing the weakest assignments and undervaluing the strongest. Because this error was shared, ensembling failed to remove it. Machine marks also rewarded linguistic features more strongly than human marks. Since human-machine agreement was a joint product of model, prompt and institution, we conclude that current LLMs lack evaluative capacity transferable across contexts, and that single-context validation overstates readiness for deployment.