Translate With Care: Addressing Gender Bias, Neutrality, and Reasoning in Large Language Model Translations

📄 arXiv: 2506.00748v1 📥 PDF

作者: Pardis Sadat Zahraei, Ali Emami

分类: cs.CL, cs.CY

发布日期: 2025-05-31

备注: Accepted to Findings of ACL 2025

💡 一句话要点

提出Translate-with-Care数据集以解决机器翻译中的性别偏见问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器翻译 性别偏见 逻辑一致性 数据集构建 模型微调 自然语言处理 多语言翻译 公平性

📋 核心要点

  1. 核心问题：现有机器翻译系统在处理性别偏见和逻辑一致性方面存在显著不足，尤其是在性别语言与无性别语言之间的翻译。
  2. 方法要点：本文提出了Translate-with-Care数据集，并通过微调mBART-50模型来解决性别偏见和推理错误的问题。
  3. 实验或效果：实验结果表明，微调后的mBART-50在性别偏见和推理错误方面显著改善，超越了多种专有翻译模型。

📝 摘要（中文）

在机器翻译中，解决性别偏见和保持逻辑一致性仍然面临挑战，尤其是在自然性别语言（如英语）与无性别语言（如波斯语、印尼语和芬兰语）之间翻译时。本文介绍了Translate-with-Care（TWC）数据集，包含3950个具有挑战性的场景，旨在评估翻译系统的性能。对多种技术的分析表明，翻译无性别内容时普遍存在性别刻板印象和推理错误。所有模型在可能影响选择的性别刻板印象下更倾向于使用男性代词。Google Translate和GPT-4在领导和职业成功的语境中，男性代词的使用频率比女性代词高出4-6倍。对mBART-50进行TWC微调显著缓解了这些偏见和错误，表现出强大的泛化能力，并超越了专有的LLM，同时保持开源。该研究强调了在机器翻译中针对性别和语义一致性的必要性，尤其是对于无性别语言，推动了更公平和准确的翻译系统的发展。

🔬 方法详解

问题定义：本文旨在解决机器翻译中性别偏见和逻辑一致性的问题。现有方法在翻译无性别语言时，常常导致性别刻板印象和推理错误，影响翻译质量。

核心思路：通过引入Translate-with-Care（TWC）数据集，提供具有挑战性的翻译场景，并对mBART-50进行微调，以减少性别偏见和推理错误。这样的设计旨在增强模型在处理性别相关内容时的敏感性和准确性。

技术框架：整体架构包括数据集构建、模型训练和性能评估三个主要阶段。首先，构建TWC数据集以涵盖多种语言场景；其次，使用该数据集对mBART-50进行微调；最后，评估模型在性别偏见和推理一致性方面的表现。

关键创新：最重要的技术创新在于TWC数据集的引入和对mBART-50的微调，显著改善了模型在性别偏见和推理一致性方面的表现，与现有方法相比，提供了更为系统和有效的解决方案。

关键设计：在微调过程中，采用了特定的损失函数以平衡性别代词的使用，并优化了模型的超参数设置，以确保在多种语言场景下的泛化能力。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，微调后的mBART-50模型在性别偏见和推理一致性方面表现优异，特别是在领导和职业成功的语境中，男性代词的使用频率显著降低，模型的性能超越了多个专有翻译系统，展现出强大的泛化能力。

🎯 应用场景

该研究的潜在应用领域包括多语言翻译系统、跨文化交流平台以及任何需要处理性别敏感内容的自然语言处理应用。通过减少性别偏见，能够提升翻译的公平性和准确性，促进不同文化之间的理解与交流。

📄 摘要（原文）

Addressing gender bias and maintaining logical coherence in machine translation remains challenging, particularly when translating between natural gender languages, like English, and genderless languages, such as Persian, Indonesian, and Finnish. We introduce the Translate-with-Care (TWC) dataset, comprising 3,950 challenging scenarios across six low- to mid-resource languages, to assess translation systems' performance. Our analysis of diverse technologies, including GPT-4, mBART-50, NLLB-200, and Google Translate, reveals a universal struggle in translating genderless content, resulting in gender stereotyping and reasoning errors. All models preferred masculine pronouns when gender stereotypes could influence choices. Google Translate and GPT-4 showed particularly strong bias, favoring male pronouns 4-6 times more than feminine ones in leadership and professional success contexts. Fine-tuning mBART-50 on TWC substantially resolved these biases and errors, led to strong generalization, and surpassed proprietary LLMs while remaining open-source. This work emphasizes the need for targeted approaches to gender and semantic coherence in machine translation, particularly for genderless languages, contributing to more equitable and accurate translation systems.