"Vorbeşti Româneşte?" A Recipe to Train Powerful Romanian LLMs with English Instructions

📄 arXiv: 2406.18266v4 📥 PDF

作者: Mihai Masala, Denis C. Ilie-Ablachim, Alexandru Dima, Dragos Corlatescu, Miruna Zavelca, Ovio Olaru, Simina Terian, Andrei Terian, Marius Leordeanu, Horia Velicu, Marius Popescu, Mihai Dascalu, Traian Rebedea

分类: cs.CL

发布日期: 2024-06-26 (更新: 2024-10-24)

备注: Accepted at The 2024 Conference on Empirical Methods in Natural Language Processing (EMNLP 2024 Findings). arXiv admin note: text overlap with arXiv:2405.07703

💡 一句话要点

提出一种基于英语指令微调的罗马尼亚语LLM训练方法，并开源相关资源

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 罗马尼亚语 指令微调 机器翻译 低资源语言 自然语言处理 开源模型

📋 核心要点

  1. 现有LLM在英语上表现出色，但在罗马尼亚语等低资源语言上性能不足，缺乏高质量的罗马尼亚语训练数据。
  2. 论文提出了一种收集和翻译大规模文本、指令和基准的方法，用于训练专门针对罗马尼亚语的LLM（RoLLM）。
  3. 实验表明，RoLLM在各种罗马尼亚语任务上取得了最先进的结果，证明了该方法的有效性。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在各种任务上取得了接近人类的表现。虽然一些LLM在多语言数据上进行了训练，但大多数训练数据是英文的；因此，它们在英文方面的表现大大超过了其他语言。据我们所知，我们是第一个收集和翻译大量文本、指令和基准，并训练、评估和发布专门为罗马尼亚语定制的开源LLM。我们在四个不同的类别中评估我们的方法，包括学术基准、MT-Bench（手动翻译）和一个专业构建的、适应罗马尼亚语的历史、文化和社会基准。我们通过获得全面的最先进结果来论证RoLLM的有用性和高性能。我们公开发布所有资源（即数据、训练和评估代码、模型），以支持和鼓励对罗马尼亚语LLM的研究，同时创建一个通用的配方，适用于其他低资源或资源较少的语言。

🔬 方法详解

问题定义：论文旨在解决现有大型语言模型在罗马尼亚语等低资源语言上的性能瓶颈问题。现有方法主要依赖于英文数据训练，导致在非英语语种上的表现不佳，缺乏高质量的罗马尼亚语训练数据和评估基准是主要痛点。

核心思路：论文的核心思路是通过收集和翻译大量的英文文本、指令和基准数据，构建高质量的罗马尼亚语训练数据集，并在此基础上训练专门针对罗马尼亚语的大型语言模型。这种方法利用了英文LLM的知识，并将其迁移到罗马尼亚语上。

技术框架：整体框架包括以下几个主要阶段：1) 数据收集：收集各种英文文本数据，包括指令数据和基准数据。2) 数据翻译：将收集到的英文数据翻译成罗马尼亚语，确保翻译质量。3) 模型训练：使用翻译后的罗马尼亚语数据训练大型语言模型。4) 模型评估：在各种罗马尼亚语任务上评估模型的性能，包括学术基准、MT-Bench和专门构建的罗马尼亚语基准。

关键创新：论文的关键创新在于：1) 构建了大规模的罗马尼亚语LLM训练数据集，填补了该领域的空白。2) 提出了一种基于英语指令微调的罗马尼亚语LLM训练方法，有效提升了模型在罗马尼亚语上的性能。3) 开源了所有资源，包括数据、训练代码和模型，促进了罗马尼亚语LLM的研究。与现有方法的本质区别在于，该方法专注于构建高质量的罗马尼亚语数据集，并在此基础上进行模型训练。

关键设计：论文中涉及的关键设计细节包括：1) 数据翻译策略：采用了高质量的机器翻译和人工校对相结合的方法，确保翻译质量。2) 模型架构选择：选择了适合罗马尼亚语的LLM架构（具体架构未知）。3) 训练参数设置：采用了合适的学习率、batch size等训练参数（具体参数未知）。4) 评估基准选择：选择了具有代表性的罗马尼亚语任务作为评估基准。

📊 实验亮点

论文在多个罗马尼亚语基准测试中取得了最先进的结果，包括学术基准、MT-Bench（手动翻译）以及专门构建的罗马尼亚语历史、文化和社会基准。具体的性能数据和提升幅度在论文中进行了详细的展示（具体数值未知）。

🎯 应用场景

该研究成果可广泛应用于罗马尼亚语相关的自然语言处理任务，如机器翻译、文本摘要、问答系统、文本生成等。它有助于提升罗马尼亚语信息处理的智能化水平，促进罗马尼亚语数字内容的发展，并为其他低资源语言的LLM研究提供借鉴。

📄 摘要（原文）

In recent years, Large Language Models (LLMs) have achieved almost human-like performance on various tasks. While some LLMs have been trained on multilingual data, most of the training data is in English; hence, their performance in English greatly exceeds other languages. To our knowledge, we are the first to collect and translate a large collection of texts, instructions, and benchmarks and train, evaluate, and release open-source LLMs tailored for Romanian. We evaluate our methods on four different categories, including academic benchmarks, MT-Bench (manually translated), and a professionally built historical, cultural, and social benchmark adapted to Romanian. We argue for the usefulness and high performance of RoLLMs by obtaining state-of-the-art results across the board. We publicly release all resources (i.e., data, training and evaluation code, models) to support and encourage research on Romanian LLMs while concurrently creating a generalizable recipe, adequate for other low or less-resourced languages.