Mufu: Multilingual Fused Learning for Low-Resource Translation with LLM

📄 arXiv: 2409.13949v3 📥 PDF

作者: Zheng Wei Lim, Nitish Gupta, Honglin Yu, Trevor Cohn

分类: cs.CL

发布日期: 2024-09-20 (更新: 2025-11-10)

备注: 29 pages

💡 一句话要点

Mufu：利用LLM的多语言融合学习提升低资源翻译性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低资源翻译 多语言学习 大型语言模型 指令提示 模型蒸馏

📋 核心要点

  1. 现有LLM在低资源语言翻译方面表现不佳，数据效率低是主要挑战。
  2. Mufu通过生成多语言候选翻译并结合指令提示，将翻译任务转化为帖子编辑任务。
  3. 实验表明，Mufu微调的LLM对低质量候选翻译具有鲁棒性，并在低资源翻译上优于NLLB 1.3B。

📝 摘要（中文）

多语言大型语言模型（LLM）在翻译方面表现出色，但主要局限于高资源语言。对于许多LLM来说，低资源语言的互译仍然是一项具有挑战性的任务。为了最大限度地提高低资源环境下的数据效率，我们引入了Mufu，它包含自动生成的多语言候选翻译选择以及用于纠正提示中不准确翻译的指令。Mufu提示将翻译任务转化为帖子编辑任务，并试图利用LLM的推理能力以及辅助翻译候选，模型需要评估输入质量，跨语言对齐语义，从相关输入中复制并覆盖不正确的实例。我们在Flores-200数据集上进行的En-XX翻译实验表明，针对Mufu风格提示进行微调的LLM对低质量的辅助翻译候选具有鲁棒性，在64%的低资源和极低资源语言对中，性能优于NLLB 1.3B的蒸馏模型。然后，我们对这些模型进行蒸馏，以降低推理成本，同时在低资源翻译中，与仅进行微调的基线相比，平均提高了3.1 chrF。

🔬 方法详解

问题定义：论文旨在解决低资源语言翻译中，现有大型语言模型（LLM）数据效率低、翻译质量差的问题。现有的LLM虽然强大，但在高资源语言上表现出色，但在低资源语言上，由于数据匮乏，翻译性能显著下降。直接微调LLM在低资源场景下效果有限，需要更有效的方法来利用有限的数据。

核心思路：论文的核心思路是将低资源翻译任务转化为一个帖子编辑任务。通过生成多个候选翻译，并利用指令提示LLM去评估这些候选翻译的质量，跨语言对齐语义，并从相关输入中复制和修改，从而提高翻译的准确性。这种方法旨在利用LLM的推理能力和知识，即使在数据有限的情况下也能生成高质量的翻译。

技术框架：Mufu的技术框架主要包含以下几个阶段：1) 候选翻译生成：利用现有的机器翻译模型（例如NLLB）自动生成多个候选翻译。2) 指令提示构建：构建包含原始文本、候选翻译以及指令的提示，指令要求LLM评估候选翻译的质量，并进行必要的修改。3) LLM微调：使用构建好的提示对LLM进行微调，使其能够执行帖子编辑任务。4) 模型蒸馏：将微调后的LLM蒸馏成更小的模型，以降低推理成本。

关键创新：Mufu的关键创新在于其将翻译任务转化为帖子编辑任务的思路，以及利用指令提示来引导LLM进行推理和修改。与传统的直接微调方法相比，Mufu能够更有效地利用LLM的知识和推理能力，从而在低资源场景下获得更好的翻译性能。此外，Mufu对低质量的辅助翻译候选具有鲁棒性，这意味着即使候选翻译质量不高，Mufu也能通过指令提示来纠正错误。

关键设计：在指令提示的设计上，论文使用了明确的指令，要求LLM评估候选翻译的质量，并进行必要的修改。例如，指令可能包含“评估以下候选翻译的质量，并选择最佳的翻译，如果所有候选翻译都不准确，请进行修改”。在模型蒸馏方面，论文采用了标准的知识蒸馏技术，将大型模型的知识转移到小型模型中。具体的参数设置和损失函数细节在论文中可能有所描述，但摘要中未明确提及。

📊 实验亮点

实验结果表明，在Flores-200数据集上，针对Mufu风格提示进行微调的LLM在64%的低资源和极低资源语言对中，性能优于NLLB 1.3B的蒸馏模型。此外，通过模型蒸馏，Mufu在降低推理成本的同时，与仅进行微调的基线相比，平均提高了3.1 chrF。

🎯 应用场景

Mufu方法可应用于各种低资源语言的机器翻译场景，例如帮助少数民族语言的保护和传承，促进跨文化交流，以及在国际贸易和外交等领域提供更准确的翻译服务。该方法还可以扩展到其他自然语言处理任务，例如低资源语言的文本摘要和情感分析等，具有广泛的应用前景。

📄 摘要（原文）

Multilingual large language models (LLMs) are great translators, but this is largely limited to high-resource languages. For many LLMs, translating in and out of low-resource languages remains a challenging task. To maximize data efficiency in this low-resource setting, we introduce Mufu, which includes a selection of automatically generated multilingual candidates and an instruction to correct inaccurate translations in the prompt. Mufu prompts turn a translation task into a postediting one, and seek to harness the LLM's reasoning capability with auxiliary translation candidates, from which the model is required to assess the input quality, align the semantics cross-lingually, copy from relevant inputs and override instances that are incorrect. Our experiments on En-XX translations over the Flores-200 dataset show LLMs finetuned against Mufu-style prompts are robust to poor quality auxiliary translation candidates, achieving performance superior to NLLB 1.3B distilled model in 64% of low- and very-low-resource language pairs. We then distill these models to reduce inference cost, while maintaining on average 3.1 chrF improvement over finetune-only baseline in low-resource translations.