Mitigating Bias in Automated Grading Systems for ESL Learners: A Contrastive Learning Approach

📄 arXiv: 2601.16724v1 📥 PDF

作者: Kevin Fan, Eric Yun

分类: cs.CL

发布日期: 2026-01-23

💡 一句话要点

提出基于对比学习的自动评分系统偏见缓解方法，提升ESL学习者评分公平性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动作文评分 ESL学习者 算法偏见 对比学习 三重损失 DeBERTa-v3 公平性 自然语言处理

📋 核心要点

  1. 现有自动评分系统对ESL学习者存在偏见，会将表面语言特征与作文质量错误关联，导致评分不公。
  2. 论文提出基于对比学习的偏见缓解方法，通过对齐ESL和母语写作的潜在表示来消除偏见。
  3. 实验表明，该方法显著降低了高水平ESL写作的评分差距，同时保持了较高的评分准确率。

📝 摘要（中文）

随着自动作文评分(AES)系统在高风险教育环境中的应用日益广泛，针对英语作为第二语言(ESL)学习者的算法偏见问题日益突出。现有的基于Transformer的回归模型主要在母语人士语料库上训练，通常会学习到表面L2语言特征与作文质量之间的虚假相关性。本研究对微调后的DeBERTa-v3模型在ASAP 2.0和ELLIPSE数据集上进行了偏见研究，揭示了高水平ESL写作的受限评分缩放现象，即高水平ESL作文的得分比人工评分质量相同的母语作文低10.3%。为了缓解这个问题，我们提出了一种基于三重损失的对比学习方法：基于匹配作文对的对比学习。我们构建了一个包含17,161个匹配作文对的数据集，并使用Triplet Margin Loss微调模型，以对齐ESL和母语写作的潜在表示。我们的方法将高水平评分差距降低了39.9%（至6.2%），同时保持了0.76的二次加权Kappa系数(QWK)。事后语言分析表明，该模型成功地将句子复杂性与语法错误分离开来，防止了对有效L2句法结构的惩罚。

🔬 方法详解

问题定义：论文旨在解决自动作文评分系统(AES)中存在的、针对英语作为第二语言(ESL)学习者的偏见问题。现有基于Transformer的模型在评分时，容易将ESL学习者作文中的一些语言特征（如语法错误、句子结构等）与作文质量直接关联，导致即使内容质量相同的ESL作文，得分也会低于母语人士的作文。这种偏见会严重影响ESL学习者的学习体验和评估结果。

核心思路：论文的核心思路是利用对比学习，使模型能够区分作文的内容质量和语言特征。具体来说，通过构建匹配的ESL和母语作文对，让模型学习到内容相似的作文应该具有相似的潜在表示，从而消除语言特征带来的影响。这样，模型在评分时就能更加关注作文的实际质量，而不是被ESL学习者的语言表达所误导。

技术框架：整体框架包括以下几个主要步骤：1) 使用DeBERTa-v3模型作为基础模型；2) 构建包含匹配的ESL和母语作文对的数据集；3) 使用Triplet Margin Loss进行对比学习，优化模型参数，使得内容相似的作文在潜在空间中的距离更近，内容不同的作文距离更远；4) 对微调后的模型进行评估，分析其在ESL作文评分上的表现，并与基线模型进行比较。

关键创新：论文的关键创新在于将对比学习应用于自动作文评分系统的偏见缓解。通过构建匹配的作文对，并使用Triplet Margin Loss进行训练，模型能够学习到更加鲁棒的作文表示，从而减少对ESL学习者的偏见。这种方法不同于以往的基于数据增强或对抗训练的方法，它直接在潜在空间中对齐ESL和母语写作的表示，更加有效和直接。

关键设计：论文的关键设计包括：1) 匹配作文对的构建策略，确保匹配的作文在内容质量上尽可能相似；2) Triplet Margin Loss的使用，通过设置合适的margin值，可以控制模型对不同难度作文对的学习力度；3) DeBERTa-v3模型的选择，DeBERTa-v3是一种先进的Transformer模型，具有强大的文本表示能力，可以更好地捕捉作文中的语义信息。

📊 实验亮点

实验结果表明，该方法成功地将高水平ESL写作的评分差距降低了39.9%，从10.3%降低到6.2%，同时保持了0.76的二次加权Kappa系数(QWK)。这表明该方法在显著降低评分偏见的同时，并没有牺牲评分的准确性。事后语言分析也表明，该模型能够更好地区分句子复杂性和语法错误，避免对有效的L2句法结构进行惩罚。

🎯 应用场景

该研究成果可应用于各类自动作文评分系统，尤其是在涉及ESL学习者的教育场景中，例如语言考试、作文批改等。通过消除评分偏见，可以为ESL学习者提供更公平、更准确的评估，促进其语言学习和发展。此外，该方法也可以推广到其他自然语言处理任务中，用于缓解算法偏见问题。

📄 摘要（原文）

As Automated Essay Scoring (AES) systems are increasingly used in high-stakes educational settings, concerns regarding algorithmic bias against English as a Second Language (ESL) learners have increased. Current Transformer-based regression models trained primarily on native-speaker corpora often learn spurious correlations between surface-level L2 linguistic features and essay quality. In this study, we conduct a bias study of a fine-tuned DeBERTa-v3 model using the ASAP 2.0 and ELLIPSE datasets, revealing a constrained score scaling for high-proficiency ESL writing where high-proficiency ESL essays receive scores 10.3% lower than Native speaker essays of identical human-rated quality. To mitigate this, we propose applying contrastive learning with a triplet construction strategy: Contrastive Learning with Matched Essay Pairs. We constructed a dataset of 17,161 matched essay pairs and fine-tuned the model using Triplet Margin Loss to align the latent representations of ESL and Native writing. Our approach reduced the high-proficiency scoring disparity by 39.9% (to a 6.2% gap) while maintaining a Quadratic Weighted Kappa (QWK) of 0.76. Post-hoc linguistic analysis suggests the model successfully disentangled sentence complexity from grammatical error, preventing the penalization of valid L2 syntactic structures.