Investigating the Impact of Learner Errors on Social Bias in Large Language Models

📄 arXiv: 2610.29896v1 📥 PDF

作者: Federico Marcuzzi, Martin Christoph, Iryna Gurevych, Alla Rozovskays

分类: cs.CL

发布日期: 2026-10-21

💡 一句话要点

研究非母语者语法错误对大语言模型社会偏见的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 社会偏见 大语言模型 非母语者 语法错误 偏见评估 教育技术 语言学习

📋 核心要点

  1. 现有的社会偏见评估方法主要集中在流利的英语上，忽视了非母语者的表现，导致评估结果不全面。
  2. 本文提出了一种控制框架，通过注入常见的学习者语法错误，系统性地研究这些错误对社会偏见的影响。
  3. 实验结果表明，语法错误的增加会显著提升偏见程度，尤其是介词错误对刻板印象对齐的影响最为显著。

📝 摘要（中文）

现有的社会偏见基准主要评估流利的英语，忽视了非母语写作者的表现。为了解决这一问题，本文研究了非母语者的语法错误如何影响社会偏见。我们开发了一个控制框架，将常见的学习者错误注入提示中，并应用于三个偏见基准，涵盖性别、种族和宗教的刻板印象对齐及人口偏好。研究发现，语法错误会增加偏见，且随着错误率的增加，影响也会加大。在考虑的四种常见错误类型中，介词错误产生了最大且最一致的刻板印象对齐增加。分析表明，当错误更可能干扰理解时，偏见会增加。最后，对错误文本进行微调可以减少语法错误引起的偏见增加。我们的发现表明，基于良好构造提示的偏见评估可能低估了包含语法错误的用户所经历的偏见。

🔬 方法详解

问题定义：本文旨在解决现有社会偏见评估方法对非母语者语法错误的忽视，导致偏见评估结果不准确的问题。

核心思路：通过开发一个控制框架，将常见的学习者语法错误注入到提示中，系统性地研究这些错误对社会偏见的影响。

技术框架：整体架构包括错误类型的选择、错误注入的实现、偏见基准的评估和结果分析四个主要模块。

关键创新：最重要的创新在于通过系统性地引入学习者错误，揭示了语法错误如何影响大语言模型的社会偏见，填补了现有研究的空白。

关键设计：在实验中，选择了四种常见的语法错误类型，并通过微调模型来减少由这些错误引起的偏见增加，采用了适应性损失函数以优化模型性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，语法错误的增加会显著提升偏见程度，尤其是介词错误导致的刻板印象对齐增加幅度最大。微调模型后，偏见增加得到了有效控制，表明模型对非母语者的适应性提升。

🎯 应用场景

该研究的潜在应用领域包括教育技术、语言学习辅助工具和社会偏见检测系统。通过更全面的偏见评估，可以帮助开发更公平的语言模型，提升非母语者的使用体验，促进语言学习者的公平对待。

📄 摘要（原文）

Existing social bias benchmarks evaluate large language models mostly on fluent, well-formed English, reflecting native speaker usage and leaving non-native writers unrepresented. To address this gap, we investigate how grammatical errors by non-native writers affect social bias. We develop a controlled framework that injects common learner errors into prompts and apply it to three bias benchmarks covering stereotype alignment and demographic preference across gender, race, and religion. We find that grammatical errors increase bias, and the effect grows with the error rate. Among the four common error types we consider, preposition errors produce the largest and most consistent increase in stereotype alignment. Our analysis suggests that errors increase bias when they are more likely to interfere with comprehension. Finally, fine-tuning on erroneous texts reduces the bias increase caused by grammatical errors. Our findings show that bias evaluations based exclusively on well-formed prompts may underestimate the bias experienced by users whose English contains grammatical errors.