Mind the Inclusivity Gap: Multilingual Gender-Neutral Translation Evaluation with mGeNTE
作者: Beatrice Savoldi, Giuseppe Attanasio, Eleonora Cupin, Eleni Gkovedarou, Janiça Hackenbuchner, Anne Lauscher, Matteo Negri, Andrea Piergentili, Manjinder Thind, Luisa Bentivogli
分类: cs.CL
发布日期: 2025-01-16 (更新: 2025-09-18)
💡 一句话要点
提出mGeNTE资源，系统评估指令跟随语言模型在多语言性别中立翻译中的表现
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 性别中立翻译 多语言翻译 机器翻译评估 语言模型 可解释性分析
📋 核心要点
- 现有性别中立翻译研究资源匮乏，尤其缺乏对多种语言的系统性评估。
- 论文提出mGeNTE资源，用于评估语言模型在多语言性别中立翻译中的表现。
- 实验表明，现有模型虽能识别中立需求，但生成中性翻译的能力仍有不足。
📝 摘要（中文）
为了避免在多语言技术中不恰当的（二元）性别推断和默认男性语言的传播，尤其是在翻译成具有广泛性别形态的语言时，性别中立翻译（GNT）成为一种更公平的跨语言交流策略。然而，关于GNT的研究仅限于少数资源和语言对。为了弥补这一差距，我们引入了专家策划的资源mGeNTE，并利用它对最先进的指令跟随语言模型（LMs）进行首次系统的多语言包容性翻译评估。在en-es/de/it/el上的实验表明，虽然模型可以识别何时适合保持中立，但它们无法始终如一地生成中性翻译，从而限制了它们的可用性。为了探究这种行为，我们通过可解释性分析来丰富我们的评估，识别与任务相关的特征，并初步了解基于LM的GNT的内部动态。
🔬 方法详解
问题定义：论文旨在解决多语言翻译中性别偏见的问题，特别是如何确保翻译结果在目标语言中保持性别中立，避免不必要的性别推断和默认男性语言的使用。现有方法缺乏对多种语言的系统性评估，并且在实际翻译中难以保证一致的性别中立性。
核心思路：论文的核心思路是构建一个高质量的多语言性别中立翻译评估资源（mGeNTE），并利用该资源对现有的指令跟随语言模型进行系统评估，从而揭示模型在处理性别中立翻译任务时的优势和不足。通过可解释性分析，进一步探究模型内部的运作机制，为改进模型提供指导。
技术框架：论文的技术框架主要包括以下几个部分：1) 构建mGeNTE资源，该资源由专家策划，包含多种语言的性别中立翻译示例；2) 利用mGeNTE资源对现有的指令跟随语言模型进行评估，评估指标包括翻译的准确性和性别中立性；3) 对评估结果进行可解释性分析，识别与任务相关的特征，并探究模型内部的运作机制。
关键创新：论文的关键创新在于构建了mGeNTE这一多语言性别中立翻译评估资源，并首次利用该资源对现有的指令跟随语言模型进行了系统的评估。此外，论文还通过可解释性分析，深入探究了模型在处理性别中立翻译任务时的内部运作机制，为改进模型提供了新的思路。
关键设计：mGeNTE资源包含英语到西班牙语、德语、意大利语和希腊语的翻译示例。评估过程中，使用了多种指标来衡量翻译的准确性和性别中立性。可解释性分析采用了相关性分析等方法，以识别与任务相关的特征。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有的指令跟随语言模型在识别性别中立需求方面表现尚可，但在生成一致的性别中立翻译方面存在明显不足。在en-es/de/it/el的翻译任务中，模型虽然能够理解中立的意图，但实际输出的翻译结果往往带有一定的性别偏见，限制了其在实际应用中的可用性。
🎯 应用场景
该研究成果可应用于机器翻译系统、文本生成模型等领域，有助于提升多语言交流的公平性和包容性。通过避免性别偏见，可以改善用户体验，减少歧义和误解，促进更广泛的社会公平。
📄 摘要（原文）
Avoiding the propagation of undue (binary) gender inferences and default masculine language remains a key challenge towards inclusive multilingual technologies, particularly when translating into languages with extensive gendered morphology. Gender-neutral translation (GNT) represents a linguistic strategy towards fairer communication across languages. However, research on GNT is limited to a few resources and language pairs. To address this gap, we introduce mGeNTE, an expert-curated resource, and use it to conduct the first systematic multilingual evaluation of inclusive translation with state-of-the-art instruction-following language models (LMs). Experiments on en-es/de/it/el reveal that while models can recognize when neutrality is appropriate, they cannot consistently produce neutral translations, limiting their usability. To probe this behavior, we enrich our evaluation with interpretability analyses that identify task-relevant features and offer initial insights into the internal dynamics of LM-based GNT.