Tagengo: A Multilingual Chat Dataset

📄 arXiv: 2405.12612v1 📥 PDF

作者: Peter Devine

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-05-21

💡 一句话要点

Tagengo：构建高质量多语聊天数据集，提升开源LLM多语能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语聊天 大型语言模型 数据集构建 开源LLM 多语微调

📋 核心要点

  1. 现有的开源大型语言模型（LLM）主要集中在少数几种常用语言上，缺乏对多语种的支持。
  2. 论文提出Tagengo数据集，包含74种语言的高质量提示-回复对，用于训练多语LLM。
  3. 实验表明，使用Tagengo训练的多语LLM在多种语言的聊天基准测试中优于现有开源模型，且多语数据训练优于单语数据。

📝 摘要（中文）

本文介绍了一个高质量的多语聊天数据集Tagengo，包含超过7万个提示-回复对，覆盖74种语言，由人工生成的提示和合成的回复组成。该数据集被用于训练一个最先进的开源英语LLM，使其具备多语聊天能力。在6种语言的MT-Bench聊天基准测试中，该多语模型优于以往最先进的开源LLM。研究还发现，与仅在目标语言（日语）数据上训练相比，在更多多语数据上训练更有利于目标语言的性能。这些结果表明，为了构建更易于访问的LLM，必须使用大量高质量的多语数据进行训练。

🔬 方法详解

问题定义：现有开源大型语言模型在多语言支持方面存在不足，主要集中在少数几种常用语言上。这限制了LLM在全球范围内的可访问性和应用范围。缺乏高质量的多语聊天数据集是制约多语LLM发展的重要因素。

核心思路：论文的核心思路是构建一个高质量的大规模多语聊天数据集，并利用该数据集训练一个现有的开源LLM，使其具备多语聊天能力。通过增加模型的语言覆盖范围，提升其在不同语言环境下的表现。

技术框架：该研究主要包含两个阶段：数据集构建和模型训练。数据集构建阶段，作者收集人工生成的提示，并生成对应的合成回复，构建包含74种语言的Tagengo数据集。模型训练阶段，作者使用Tagengo数据集对一个开源英语LLM进行微调，使其具备多语聊天能力。

关键创新：该研究的关键创新在于构建了一个大规模、高质量的多语聊天数据集Tagengo，该数据集覆盖了74种语言，为多语LLM的研究和开发提供了重要资源。此外，研究还验证了使用多语数据训练LLM可以有效提升其在目标语言上的性能。

关键设计：数据集合成回复的具体方法未知。模型训练阶段，作者可能采用了某种微调策略，例如LoRA或QLoRA，以在现有模型的基础上快速实现多语能力。具体的损失函数和网络结构细节未在摘要中提及，需要查阅论文全文。

📊 实验亮点

实验结果表明，使用Tagengo数据集训练的多语LLM在6种语言的MT-Bench聊天基准测试中，性能优于以往最先进的开源LLM。此外，研究还发现，与仅在目标语言（日语）数据上训练相比，在更多多语数据上训练更有利于目标语言的性能，这验证了多语数据对于提升LLM多语能力的重要性。

🎯 应用场景

该研究成果可应用于构建多语聊天机器人、多语客服系统、跨语言信息检索等领域。通过提升LLM的多语能力，可以促进不同语言文化之间的交流与合作，并为全球用户提供更便捷、高效的智能服务。未来，该数据集和训练方法有望推动多语LLM的进一步发展，实现更广泛的应用。

📄 摘要（原文）

Open source large language models (LLMs) have shown great improvements in recent times. However, many of these models are focused solely on popular spoken languages. We present a high quality dataset of more than 70k prompt-response pairs in 74 languages which consist of human generated prompts and synthetic responses. We use this dataset to train a state-of-the-art open source English LLM to chat multilingually. We evaluate our model on MT-Bench chat benchmarks in 6 languages, finding that our multilingual model outperforms previous state-of-the-art open source LLMs across each language. We further find that training on more multilingual data is beneficial to the performance in a chosen target language (Japanese) compared to simply training on only data in that language. These results indicate the necessity of training on large amounts of high quality multilingual data to make a more accessible LLM.