Enhancing Gender-Inclusive Machine Translation with Neomorphemes and Large Language Models

📄 arXiv: 2405.08477v1 📥 PDF

作者: Andrea Piergentili, Beatrice Savoldi, Matteo Negri, Luisa Bentivogli

分类: cs.CL

发布日期: 2024-05-14

备注: Accepted at EAMT 2024

💡 一句话要点

利用新语素和大型语言模型增强性别包容性机器翻译

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器翻译 性别包容性 新语素 大型语言模型 提示工程

📋 核心要点

  1. 现有的机器翻译模型在处理具有性别形态的语言时，存在性别偏见，无法充分支持非二元性别认同。
  2. 该论文提出利用性别包容性新语素，并结合大型语言模型（LLM）的提示技术，以实现更公平的机器翻译。
  3. 论文发布了Neo-GATE数据集，用于评估性别包容性英-意翻译，并评估了不同LLM在该任务上的表现。

📝 摘要（中文）

机器翻译(MT)模型在翻译成具有广泛性别形态的语言时，存在性别偏见。因此，它们在使用性别包容性语言方面仍然不足，这种语言也代表了非二元性别认同。本文着眼于性别包容性新语素，这是一种避免二元性别标记的新造元素，作为实现更公平MT的一种方法。为此，我们探索使用大型语言模型(LLM)的提示技术，将英语翻译成使用新语素的意大利语。由于其新颖性和缺乏公开的评估资源，该领域尚未得到充分探索。我们发布了Neo-GATE，这是一个旨在评估使用新语素的性别包容性英-意翻译的资源，以填补这一空白。通过Neo-GATE，我们评估了四个不同系列和规模的LLM以及不同的提示格式，从而确定了每个模型在这个MT新任务上的优势和劣势。

🔬 方法详解

问题定义：机器翻译模型在翻译成具有丰富性别形态的语言时，会表现出性别偏见，尤其是在处理非二元性别认同相关的文本时，传统的翻译方法难以准确且包容地表达。现有的方法缺乏对性别包容性语言的支持，导致翻译结果可能带有歧视性或不准确。

核心思路：该论文的核心思路是引入“新语素”（neomorphemes），即为了避免二元性别标记而创造的新词或词缀，并结合大型语言模型（LLM）的强大生成能力，通过提示工程（prompting）引导LLM生成更具性别包容性的翻译结果。这种方法旨在通过语言层面的创新，减少机器翻译中的性别偏见。

技术框架：该研究主要包含以下几个阶段：1) 定义和收集性别包容性新语素；2) 构建Neo-GATE数据集，用于评估性别包容性机器翻译；3) 设计不同的提示模板（prompt formats），用于引导LLM生成包含新语素的翻译；4) 使用不同的LLM（包括不同系列和规模的模型）进行实验，并使用Neo-GATE数据集评估其性能。

关键创新：该论文的关键创新在于：1) 提出了将新语素引入机器翻译，以解决性别偏见问题；2) 构建了Neo-GATE数据集，为性别包容性机器翻译的研究提供了评估基准；3) 系统地研究了不同LLM和提示策略在生成性别包容性翻译方面的表现。与现有方法相比，该方法更加关注语言的包容性，并尝试通过语言创新来消除偏见。

关键设计：论文的关键设计包括：1) Neo-GATE数据集的构建，该数据集包含了需要进行性别包容性翻译的英语句子，以及对应的包含新语素的意大利语翻译；2) 提示模板的设计，不同的提示模板旨在引导LLM以不同的方式使用新语素，例如，明确指示LLM使用新语素，或者提供包含新语素的示例翻译。论文评估了不同提示模板对翻译质量的影响。具体的参数设置、损失函数、网络结构等技术细节取决于所使用的LLM，论文主要关注LLM的选择和提示策略的设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该研究发布了Neo-GATE数据集，为性别包容性机器翻译提供了一个新的评估基准。实验结果表明，不同的LLM在生成性别包容性翻译方面的表现存在差异，提示策略的选择对翻译质量有显著影响。具体性能数据和提升幅度在论文中进行了详细报告，为后续研究提供了参考。

🎯 应用场景

该研究成果可应用于各种需要性别包容性语言的机器翻译场景，例如社交媒体、新闻报道、教育材料等。通过减少机器翻译中的性别偏见，可以促进更公平、更包容的跨文化交流。未来，该方法可以扩展到其他语言和领域，为构建更具包容性的人工智能系统做出贡献。

📄 摘要（原文）

Machine translation (MT) models are known to suffer from gender bias, especially when translating into languages with extensive gendered morphology. Accordingly, they still fall short in using gender-inclusive language, also representative of non-binary identities. In this paper, we look at gender-inclusive neomorphemes, neologistic elements that avoid binary gender markings as an approach towards fairer MT. In this direction, we explore prompting techniques with large language models (LLMs) to translate from English into Italian using neomorphemes. So far, this area has been under-explored due to its novelty and the lack of publicly available evaluation resources. We fill this gap by releasing Neo-GATE, a resource designed to evaluate gender-inclusive en-it translation with neomorphemes. With Neo-GATE, we assess four LLMs of different families and sizes and different prompt formats, identifying strengths and weaknesses of each on this novel task for MT.