Investigating first-language bias in LLM-based automated essay scoring: A cross-prompt evaluation of an open-weight AI-model on TOEFL essays

📄 arXiv: 2607.14605v1 📥 PDF

作者: John Maurice Gayed

分类: cs.CL, cs.CY

发布日期: 2026-07-16

备注: 21 pages, 2 figures, and 8 tables

💡 一句话要点

研究L1偏见对基于LLM的自动评分影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动评分 语言模型 公平性分析 跨提示泛化 第一语言偏见 教育评估 机器学习

📋 核心要点

  1. 现有的自动评分方法在处理不同第一语言背景的考生时存在评分偏差，影响了评分的公平性。
  2. 本研究采用LoRA适配的Gemma-3-27B-it模型，评估其在未见提示下的跨提示泛化能力和L1评分效应。
  3. 实验结果显示，模型在所有提示中表现稳定，但存在L1相关的评分偏差，欧洲语言背景的作文得分普遍高于东亚语言背景的作文。

📝 摘要（中文）

本研究探讨了LoRA适配的开放权重大型语言模型（Gemma-3-27B-it）在自动化作文评分中的跨提示泛化能力及第一语言（L1）评分效应。使用与Gayed（2026）中相同的模型和推理配置，评估了在未见训练数据的情况下，模型对TOEFL11语料库中12100篇作文的评分准确性。模型的原始分数（0.5-5.0）映射到ETS使用的三个熟练度等级，整体等级一致性为77.79%，二次加权kappa为0.702，邻近等级一致性达到99.98%。尽管模型在所有八个未见提示中表现稳定，但存在系统性的L1相关评分偏差，表明欧洲语言背景的作文得分普遍高于东亚语言背景的作文。这是首次对经过微调的开放权重LLM进行大规模L1公平性分析。

🔬 方法详解

问题定义：本研究旨在解决基于LLM的自动评分系统在不同第一语言背景考生中的评分偏差问题，现有方法未能有效处理这一挑战。

核心思路：通过使用LoRA适配的Gemma-3-27B-it模型，评估其在未见提示下的评分能力，探索L1对评分的影响。

技术框架：研究使用了与Gayed（2026）相同的模型和推理配置，评估了TOEFL11语料库中的12100篇作文，模型的评分映射到ETS的熟练度等级。

关键创新：首次进行大规模L1公平性分析，揭示了模型在不同语言背景下的评分偏差，提供了新的视角来理解自动评分系统的公平性问题。

关键设计：模型的原始分数范围为0.5-5.0，采用了与ETS相同的三个熟练度等级，整体等级一致性达到77.79%，二次加权kappa为0.702，邻近等级一致性为99.98%。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，模型在所有八个未见提示中表现稳定，整体等级一致性达到77.79%，二次加权kappa为0.702，邻近等级一致性高达99.98%。然而，模型在评分上存在L1相关偏差，欧洲语言背景的作文得分普遍高于东亚语言背景的作文，揭示了评分系统的潜在不公平性。

🎯 应用场景

该研究的结果对教育评估领域具有重要意义，尤其是在自动化评分系统的设计与应用中。通过识别和纠正L1相关的评分偏差，可以提高评分的公平性和准确性，促进多语言背景考生的平等对待，未来可能影响教育政策和评分标准的制定。

📄 摘要（原文）

This study examines the cross-prompt generalization and first-language (L1) scoring effects of a LoRA-adapted open-weight large language model (Gemma-3-27B-it) applied to automated essay scoring. Using the identical model and inference configuration reported in "AiAWE: An Open-Source LLM Automated Writing Evaluation System Using LoRA-Adapted Instruction-Tuned Models" (Gayed, 2026), which was fine-tuned on 480 argumentative essays from two prompts, we evaluate scoring accuracy on the full TOEFL11 corpus: 12,100 essays written by test-takers from 11 first-language backgrounds across eight prompts, none of which were seen during training. The model's raw scores (0.5-5.0) are mapped to the same three proficiency bands (low, medium, high) used by ETS, enabling direct comparison. The model achieved an overall band agreement of 77.79% and a quadratic weighted kappa of 0.702, with adjacent-band agreement of 99.98%. Accuracy was stable across all eight unseen prompts, with no advantage for prompts thematically related to the training data, indicating robust cross-prompt generalization. However, the model exhibited a systematic, L1-linked scoring offset. Within every proficiency band, essays from European-language backgrounds received consistently higher scores than essays from East-Asian-language backgrounds, a pattern not attributable to the composition of the fine-tuning data. This is the first large-scale L1 fairness analysis of a fine-tuned open-weight LLM for automated essay scoring.