Investigating the translation capabilities of Large Language Models trained on parallel data only

📄 arXiv: 2406.09140v1 📥 PDF

作者: Javier García Gilabert, Carlos Escolano, Aleix Sant Savall, Francesca De Luca Fornaciari, Audrey Mash, Xixian Liao, Maite Melero

分类: cs.CL

发布日期: 2024-06-13

备注: We release our code at: https://github.com/projecte-aina/Plume

💡 一句话要点

PLUME：仅用平行数据训练的大语言模型，探索其翻译能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器翻译 平行语料 零样本学习 跨语言表示 加泰罗尼亚语 PLUME模型

📋 核心要点

  1. 现有大型语言模型翻译依赖指令微调等迭代过程，缺乏对仅用平行数据训练LLM的探索。
  2. 论文提出PLUME模型，仅使用平行语料训练，研究LLM在平行数据下的翻译能力。
  3. 实验表明，PLUME模型在监督和零样本翻译任务中，性能可与传统编码器-解码器模型媲美。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在自然语言处理（NLP）的广泛任务中表现出卓越的能力，包括机器翻译。然而，以往的方法主要依赖于指令微调或持续预训练等迭代过程，而忽略了仅使用平行数据训练LLMs的挑战。本文介绍了PLUME（Parallel Language Model），这是一个包含三个2B LLMs的集合，具有不同的词汇量大小（32k、128k和256k），专门使用以加泰罗尼亚语为中心的平行语料进行训练。这些模型在16个监督翻译方向和56个零样本方向上的表现与之前的编码器-解码器架构相当。利用这组模型，我们对LLMs的翻译能力进行了彻底的调查，探究了它们的性能、prompt不同元素的影响以及它们的跨语言表示空间。

🔬 方法详解

问题定义：论文旨在研究仅使用平行数据训练的大型语言模型（LLMs）的翻译能力。现有方法通常依赖于指令微调或持续预训练等迭代过程，这使得研究人员难以理解LLMs在仅有平行数据情况下的翻译机制和潜力。因此，该论文旨在填补这一空白，探索仅通过平行数据训练LLMs的可行性和性能。

核心思路：论文的核心思路是构建一个完全基于平行语料训练的LLM，并以此为基础，深入分析其翻译能力。通过控制训练数据，可以更清晰地了解LLM如何从平行数据中学习翻译规则，以及prompt设计对翻译结果的影响。这种方法有助于揭示LLM内部的跨语言表示空间。

技术框架：PLUME模型的技术框架主要包括以下几个阶段：1）数据准备：收集并清洗以加泰罗尼亚语为中心的平行语料库。2）模型构建：构建三个2B参数的LLM，分别具有32k、128k和256k的词汇量。3）模型训练：仅使用准备好的平行语料库训练这些LLM。4）性能评估：在16个监督翻译方向和56个零样本翻译方向上评估模型的翻译性能。5）分析：深入分析模型的翻译能力，包括prompt的影响和跨语言表示空间。

关键创新：该论文最重要的技术创新点在于完全依赖平行数据训练LLM，并以此为基础进行深入的翻译能力分析。与以往依赖指令微调或持续预训练的方法不同，该方法提供了一种更纯粹的方式来研究LLM的翻译机制。此外，对prompt不同元素影响的分析以及对跨语言表示空间的探索也具有创新性。

关键设计：PLUME模型采用了标准的Transformer架构，但关键在于训练数据的选择和处理。论文特别强调了仅使用平行语料进行训练，并针对不同词汇量大小的模型进行了实验。此外，prompt的设计也至关重要，论文详细分析了不同prompt元素对翻译结果的影响。损失函数采用标准的交叉熵损失函数，优化器采用AdamW优化器。具体参数设置未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

PLUME模型在16个监督翻译方向和56个零样本翻译方向上的表现与之前的编码器-解码器架构相当。这意味着仅使用平行数据训练的LLM，在特定条件下，可以达到与传统机器翻译模型相媲美的性能。具体的性能数据和提升幅度未在摘要中详细说明，属于未知信息。

🎯 应用场景

该研究成果可应用于低资源语言的机器翻译，尤其是在缺乏大量标注数据的情况下。通过仅使用平行语料训练LLM，可以快速构建初步的翻译系统。此外，该研究对于理解LLM的内部工作机制和跨语言表示学习具有重要意义，有助于开发更高效、更通用的多语言模型。未来，该方法可以扩展到其他语言和领域，并与其他技术（如知识蒸馏、迁移学习）相结合，进一步提升翻译性能。

📄 摘要（原文）

In recent years, Large Language Models (LLMs) have demonstrated exceptional proficiency across a broad spectrum of Natural Language Processing (NLP) tasks, including Machine Translation. However, previous methods predominantly relied on iterative processes such as instruction fine-tuning or continual pre-training, leaving unexplored the challenges of training LLMs solely on parallel data. In this work, we introduce PLUME (Parallel Language Model), a collection of three 2B LLMs featuring varying vocabulary sizes (32k, 128k, and 256k) trained exclusively on Catalan-centric parallel examples. These models perform comparably to previous encoder-decoder architectures on 16 supervised translation directions and 56 zero-shot ones. Utilizing this set of models, we conduct a thorough investigation into the translation capabilities of LLMs, probing their performance, the impact of the different elements of the prompt, and their cross-lingual representation space.