The Hrunting of AI: Where and How to Improve English Dialectal Fairness

📄 arXiv: 2603.15187v1 📥 PDF

作者: Wei Li, Adrian de Wynter

分类: cs.CL

发布日期: 2026-03-16

💡 一句话要点

研究表明数据质量和可得性影响LLM在英语方言上的公平性提升，并提出改进建议。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 英语方言 公平性 数据质量 人际一致性

📋 核心要点

  1. 大型语言模型在英语方言上表现欠佳，主要挑战在于高质量方言数据的稀缺性，限制了模型改进。
  2. 该研究通过分析人际一致性与LLM性能的关系，揭示了数据质量对LLM方言公平性的关键影响。
  3. 实验表明，微调可能加剧方言偏差，但部分LLM具备生成高质量数据的潜力，为规模化改进带来希望。

📝 摘要（中文）

大型语言模型（LLM）在英语方言上的表现不佳，且由于数据稀缺，改进困难。本文研究了数据质量和可得性如何影响在此背景下改进LLM的可行性。为此，我们评估了三种鲜少研究的英语方言（约克郡英语、纽卡斯尔英语和康沃尔英语）以及非裔美国人白话英语，并使用西弗里斯兰语作为对照。我们发现，在确定LLM生成质量时，人与人之间的一致性直接影响LLM作为评判者的性能。也就是说，LLM与人类的一致性模仿了人与人之间的一致性模式，准确率等指标也是如此。这是一个问题，因为LLM与人类的一致性衡量了LLM与人类共识的对齐程度；因此，引发了关于在人口较少、一致性较低的地区改进LLM性能的可行性的问题。我们还注意到，微调并不能消除，甚至可能会放大英语方言中的这种模式。但也发现了一些令人鼓舞的信号，例如一些LLM生成高质量数据的能力，从而实现可扩展性。我们认为，必须仔细评估数据，以确保公平和包容的LLM改进；并且，在数据稀缺的情况下，需要新的工具来处理发现的模式。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在处理不同英语方言时表现不佳的问题。现有方法在方言数据稀缺的情况下难以有效提升模型性能，且缺乏对数据质量影响的深入分析。现有方法未能充分考虑不同方言之间的人际共识差异，导致模型在低资源方言上的表现更加糟糕。

核心思路：论文的核心思路是研究数据质量和可得性对LLM在英语方言上表现的影响。通过分析人与人之间在评估LLM生成质量时的一致性，来评估LLM作为评判者的性能。核心在于揭示LLM与人类共识的对齐程度，并探讨其对模型改进可行性的影响。通过研究不同方言的数据质量和人际共识，找出提升LLM方言公平性的关键因素。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 选择多种英语方言（包括低资源方言）作为研究对象；2) 评估人与人之间在评估LLM生成质量时的一致性；3) 分析LLM与人类的一致性，并将其与人际一致性进行比较；4) 通过微调等方法尝试改进LLM在方言上的表现，并评估改进效果；5) 分析实验结果，找出影响LLM方言公平性的关键因素，并提出改进建议。

关键创新：该研究的关键创新在于：1) 深入分析了数据质量（通过人际一致性衡量）对LLM在英语方言上表现的影响；2) 揭示了LLM与人类一致性模仿人际一致性模式的现象，并探讨了其对模型改进可行性的影响；3) 提出了在数据稀缺情况下，需要新的工具来处理发现的模式，以确保公平和包容的LLM改进。

关键设计：论文的关键设计包括：1) 选择了多种具有代表性的英语方言，包括约克郡英语、纽卡斯尔英语、康沃尔英语和非裔美国人白话英语；2) 使用西弗里斯兰语作为对照，以评估不同语言/方言之间的差异；3) 通过计算人与人之间以及LLM与人类之间的一致性，来衡量数据质量和模型性能；4) 采用微调等方法来改进LLM在方言上的表现，并评估改进效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，LLM与人类在评估生成质量上的一致性，会模仿人与人之间的一致性模式，这表明数据质量直接影响LLM的判断能力。实验还表明，微调可能无法有效消除方言偏差，甚至可能加剧。但同时也发现，部分LLM具备生成高质量数据的潜力，为后续改进提供了可能。

🎯 应用场景

该研究成果可应用于提升语音助手、机器翻译等AI系统在处理不同英语方言时的准确性和公平性。通过关注数据质量和人际共识，可以开发更具包容性的AI产品，减少因地域或文化差异造成的偏见，促进AI技术的公平应用。

📄 摘要（原文）

It is known that large language models (LLMs) underperform in English dialects, and that improving them is difficult due to data scarcity. In this work we investigate how quality and availability impact the feasibility of improving LLMs in this context. For this, we evaluate three rarely-studied English dialects (Yorkshire, Geordie, and Cornish), plus African-American Vernacular English, and West Frisian as control. We find that human-human agreement when determining LLM generation quality directly impacts LLM-as-a-judge performance. That is, LLM-human agreement mimics the human-human agreement pattern, and so do metrics such as accuracy. It is an issue because LLM-human agreement measures an LLM's alignment with the human consensus; and hence raises questions about the feasibility of improving LLM performance in locales where low populations induce low agreement. We also note that fine-tuning does not eradicate, and might amplify, this pattern in English dialects. But also find encouraging signals, such as some LLMs' ability to generate high-quality data, thus enabling scalability. We argue that data must be carefully evaluated to ensure fair and inclusive LLM improvement; and, in the presence of scarcity, new tools are needed to handle the pattern found.