Do Large Language Models Have an English Accent? Evaluating and Improving the Naturalness of Multilingual LLMs

📄 arXiv: 2410.15956v3 📥 PDF

作者: Yanzhu Guo, Simone Conia, Zelin Zhou, Min Li, Saloni Potdar, Henry Xiao

分类: cs.CL, cs.AI

发布日期: 2024-10-21 (更新: 2025-07-25)

备注: ACL 2025

💡 一句话要点

提出多语言LLM自然度评测指标与对齐方法，提升非英语生成质量。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言LLM 自然语言生成 自然度评估 对齐方法 英语偏见

📋 核心要点

  1. 现有大型语言模型在多语言场景下存在严重的英语中心偏见，导致非英语生成结果不自然。
  2. 论文提出了一种简单有效的对齐方法，旨在提升LLM在目标语言和特定领域的生成自然度。
  3. 实验表明，该方法在提升自然度的同时，并未显著降低模型在通用基准上的性能表现。

📝 摘要（中文）

当前的大型语言模型（LLM）主要以英语为中心设计，即使是少数多语言模型也表现出强烈的英语偏见。类似于学习第二语言的人可能产生不自然的表达，LLM在非英语语言中也经常生成不自然的输出，反映出词汇和语法中以英语为中心的模式。尽管这个问题很重要，但多语言LLM输出的自然度受到的关注有限。本文通过引入新的自动语料库级别指标来评估多语言上下文中LLM输出的词汇和句法自然度，从而弥补了这一差距。我们使用新的指标在法语和中文的精选基准上评估了最先进的LLM，揭示了它们倾向于受英语影响的模式。为了缓解这个问题，我们还提出了一种简单有效的对齐方法，以提高LLM在目标语言和领域中的自然度，在不影响通用基准性能的情况下，实现了自然度的一致提高。我们的工作强调了为新一波多语言LLM开发多语言指标、资源和方法的重要性。

🔬 方法详解

问题定义：论文旨在解决多语言大型语言模型（LLM）在生成非英语文本时存在的自然度问题。现有的多语言LLM往往受到英语的强烈影响，导致生成的文本在词汇和语法上都表现出不自然的模式。现有的评估方法缺乏对这种自然度偏差的有效衡量。

核心思路：论文的核心思路是通过设计新的自动评估指标来量化LLM生成文本的自然度，并提出一种对齐方法来减少英语的影响，从而提高非英语文本的自然度。这种对齐方法旨在使模型更好地适应目标语言的特点。

技术框架：论文的技术框架主要包括两个部分：一是自然度评估指标的构建，二是自然度提升的对齐方法。自然度评估指标用于量化LLM生成文本的词汇和句法自然度。对齐方法则通过调整模型的参数，使其更好地适应目标语言的特点，从而提高生成文本的自然度。

关键创新：论文的关键创新在于提出了新的自动语料库级别的自然度评估指标，这些指标能够有效地捕捉LLM生成文本中存在的英语影响。此外，论文提出的对齐方法简单有效，能够在不影响模型通用性能的前提下，显著提高非英语文本的自然度。

关键设计：论文提出的对齐方法的具体实现细节未知，摘要中只提到是一种“简单有效的对齐方法”，具体的参数设置、损失函数、网络结构等技术细节需要参考论文全文才能得知。但可以推测，该方法可能涉及到使用目标语言的数据对模型进行微调，或者使用某种正则化方法来约束模型的参数，使其更符合目标语言的特点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了提出的自然度评估指标的有效性，并证明了对齐方法能够显著提高LLM生成法语和中文文本的自然度。具体性能数据未知，但摘要强调在提升自然度的同时，未显著降低模型在通用基准上的性能。

🎯 应用场景

该研究成果可应用于各种需要多语言LLM的场景，例如机器翻译、跨语言信息检索、多语言对话系统等。提升多语言LLM的自然度可以改善用户体验，提高任务完成的效率。未来，该研究可以推动多语言LLM在更多领域的应用，促进不同语言文化之间的交流。

📄 摘要（原文）

Current Large Language Models (LLMs) are predominantly designed with English as the primary language, and even the few that are multilingual tend to exhibit strong English-centric biases. Much like speakers who might produce awkward expressions when learning a second language, LLMs often generate unnatural outputs in non-English languages, reflecting English-centric patterns in both vocabulary and grammar. Despite the importance of this issue, the naturalness of multilingual LLM outputs has received limited attention. In this paper, we address this gap by introducing novel automatic corpus-level metrics to assess the lexical and syntactic naturalness of LLM outputs in a multilingual context. Using our new metrics, we evaluate state-of-the-art LLMs on a curated benchmark in French and Chinese, revealing a tendency towards English-influenced patterns. To mitigate this issue, we also propose a simple and effective alignment method to improve the naturalness of an LLM in a target language and domain, achieving consistent improvements in naturalness without compromising the performance on general-purpose benchmarks. Our work highlights the importance of developing multilingual metrics, resources and methods for the new wave of multilingual LLMs.