My LLM might Mimic AAE -- But When Should it?
作者: Sandra C. Sandoval, Christabel Acquaye, Kwesi Cobbina, Mohammad Nayeem Teli, Hal Daumé
分类: cs.CL
发布日期: 2025-02-06 (更新: 2025-02-11)
备注: Accepted to NAACL 2025
🔗 代码/项目: GITHUB
💡 一句话要点
研究表明，黑人用户希望大语言模型在生成非洲裔美国英语时具有选择性和情境感知能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 非洲裔美国英语 用户偏好 语境感知 自然语言处理
📋 核心要点
- 现有LLM在生成非洲裔美国英语(AAE)时缺乏对用户偏好和语境的考虑，可能导致不适或冒犯。
- 该研究通过调查和标注，探究黑人用户对LLM生成AAE的期望，强调选择性和语境感知的重要性。
- 实验表明，当LLM被适当提示并提供上下文示例时，其生成的AAE真实性可与黑人美国人的实际语音记录相媲美。
📝 摘要（中文）
本文探讨了大型语言模型（LLM）中非洲裔美国英语（AAE）的表示，研究了（a）黑人美国人对这些技术在生成地道 AAE 方面的有效性的看法，以及（b）黑人美国人在哪些情况下认为这是可取的。通过对黑人美国人（n=104）的调查以及黑人美国人对 LLM 生成的 AAE 的标注（n=228），我们发现黑人美国人倾向于在确定 AAE 何时适合 LLM 输出时拥有选择权和自主权。他们倾向于希望 LLM 在正式场合默认使用美国主流英语进行交流，而在非正式场合则对 AAE 的生成更感兴趣。当 LLM 被适当地提示并提供上下文示例时，我们的参与者发现它们的输出具有与黑人美国人语音记录相当的 AAE 真实性水平。该项目的代码和数据可在 GitHub 上找到。
🔬 方法详解
问题定义：该论文旨在解决大型语言模型（LLM）在生成非洲裔美国英语（AAE）时，缺乏对用户偏好和语境的敏感性问题。现有方法通常要么忽略AAE，要么不加区分地生成AAE，这可能导致在不适当的场合使用AAE，从而引起用户的反感。因此，如何让LLM在生成AAE时更加智能和可控，是本研究要解决的核心问题。
核心思路：该论文的核心思路是，通过调研黑人用户对LLM生成AAE的期望，了解他们在不同语境下对AAE的需求。然后，利用这些知识来指导LLM的训练和使用，使其能够根据用户的偏好和语境，选择性地生成AAE。这种方法强调用户自主性和语境感知，旨在提高LLM生成AAE的质量和适用性。
技术框架：该研究的技术框架主要包括两个部分：用户调研和LLM评估。用户调研部分，通过问卷调查收集黑人用户对LLM生成AAE的看法和期望。LLM评估部分，首先使用不同的提示和上下文示例来生成AAE，然后由黑人用户对生成的AAE进行标注，评估其真实性和适用性。
关键创新：该研究的关键创新在于，它强调了用户自主性和语境感知在LLM生成AAE中的重要性。与以往的研究不同，该研究不是简单地追求生成更“地道”的AAE，而是关注如何在不同的语境下，根据用户的偏好，生成合适的AAE。这种以用户为中心的设计理念，是该研究的独特之处。
关键设计：在用户调研方面，设计了详细的问卷，涵盖了用户对LLM生成AAE的期望、对不同语境下AAE的接受程度等问题。在LLM评估方面，使用了多种提示和上下文示例，以测试LLM在不同情况下的生成能力。此外，还设计了一套标注规范，用于指导黑人用户对生成的AAE进行评估。
🖼️ 关键图片
📊 实验亮点
研究发现，黑人用户普遍希望LLM在正式场合默认使用美国主流英语，而在非正式场合更倾向于使用AAE。当LLM被适当提示并提供上下文示例时，其生成的AAE真实性与黑人美国人的实际语音记录相当。这些结果表明，通过适当的设计和训练，LLM可以有效地生成和理解AAE，并满足不同用户的需求。
🎯 应用场景
该研究成果可应用于各种需要生成或理解非洲裔美国英语的场景，例如社交媒体分析、客户服务、教育等。通过更好地理解和生成AAE，可以提高LLM在这些场景中的表现，并促进不同文化群体之间的交流和理解。未来的研究可以探索如何将这些发现融入到LLM的训练过程中，使其能够更好地适应不同的用户和语境。
📄 摘要（原文）
We examine the representation of African American English (AAE) in large language models (LLMs), exploring (a) the perceptions Black Americans have of how effective these technologies are at producing authentic AAE, and (b) in what contexts Black Americans find this desirable. Through both a survey of Black Americans ($n=$ 104) and annotation of LLM-produced AAE by Black Americans ($n=$ 228), we find that Black Americans favor choice and autonomy in determining when AAE is appropriate in LLM output. They tend to prefer that LLMs default to communicating in Mainstream U.S. English in formal settings, with greater interest in AAE production in less formal settings. When LLMs were appropriately prompted and provided in context examples, our participants found their outputs to have a level of AAE authenticity on par with transcripts of Black American speech. Select code and data for our project can be found here: https://github.com/smelliecat/AAEMime.git