How Much Data is Enough Data? Fine-Tuning Large Language Models for In-House Translation: Performance Evaluation Across Multiple Dataset Sizes
作者: Inacio Vieira, Will Allred, Séamus Lankford, Sheila Castilho, Andy Way
分类: cs.CL, cs.AI
发布日期: 2024-09-05 (更新: 2024-09-10)
💡 一句话要点
通过微调LLaMA 3 8B，利用不同规模的翻译记忆提升企业内部翻译质量
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 机器翻译 微调 翻译记忆 领域自适应
📋 核心要点
- 大型语言模型在机器翻译中表现出色，但难以捕捉组织机构特定的翻译细微差别和风格。
- 本文提出利用组织机构的翻译记忆（TMs）微调Llama 3 8B Instruct模型，定制特定领域的翻译模型。
- 实验结果表明，随着训练数据规模增大，翻译质量显著提升，BLEU和COMET指标最高分别提升13和25个点。
📝 摘要（中文）
本文研究了如何通过微调大型语言模型（LLMs），特别是Llama 3 8B Instruct，来提升组织机构特定翻译的准确性和效率，利用翻译记忆（TMs）作为宝贵资源。研究重点在于考察使用软件领域特定组织的TMs对Llama 3模型进行微调的效果。实验涵盖了五个翻译方向，涉及不同资源水平的语言（英语到巴西葡萄牙语、捷克语、德语、芬兰语和韩语）。通过分析不同大小的训练数据集（1k到207k个片段）来评估其对翻译质量的影响。针对每个训练集微调单独的模型，并基于自动指标BLEU、chrF++、TER和COMET评估其性能。结果表明，随着数据集规模的增大，所有指标的翻译性能均有所提高。与基线模型相比，在最大的训练集上，BLEU和COMET得分平均分别提高了13和25个点。值得注意的是，仅使用1k和2k个示例进行微调时，性能会比基线模型差；但是，随着训练数据集大小的增加，我们观察到显着改善。该研究强调了将TMs与LLMs集成以创建为企业特定需求量身定制的定制翻译模型的潜力，从而提高翻译质量并缩短周转时间。这种方法为寻求利用TMs和LLMs获得最佳翻译结果的组织提供了宝贵的见解，尤其是在较窄的领域中。
🔬 方法详解
问题定义：论文旨在解决大型语言模型（LLMs）在特定组织或企业内部翻译场景中，难以准确捕捉该组织特有的风格、术语和细微差别的问题。现有通用LLMs虽然在机器翻译任务上表现出色，但缺乏对特定领域知识的理解，导致翻译质量难以满足企业需求。直接使用通用LLMs进行翻译，往往需要人工进行大量后期编辑，耗时耗力。
核心思路：论文的核心思路是利用组织机构自身积累的翻译记忆（TMs）对LLMs进行微调，使其学习特定领域的翻译风格和术语。通过这种方式，可以使LLMs更好地适应特定组织的翻译需求，提高翻译质量和效率。选择Llama 3 8B Instruct模型作为基础模型，因为它在性能和资源消耗之间取得了较好的平衡。
技术框架：整体框架包括数据准备、模型微调和性能评估三个主要阶段。首先，从特定组织的翻译记忆库中提取不同规模的翻译数据集。然后，使用这些数据集对Llama 3 8B Instruct模型进行微调，得到针对不同数据集规模的微调模型。最后，使用自动评估指标（BLEU、chrF++、TER和COMET）评估这些微调模型的翻译性能，并与基线模型进行比较。
关键创新：论文的关键创新在于探索了翻译记忆规模对LLM微调效果的影响。通过实验，论文揭示了在特定领域翻译任务中，训练数据规模与翻译质量之间的关系，为企业选择合适的训练数据规模提供了参考。此外，论文还验证了利用翻译记忆微调LLMs可以有效提升特定领域翻译质量，为企业定制翻译模型提供了一种有效方法。
关键设计：实验中，使用了不同规模的翻译数据集（1k到207k个片段）进行微调，以评估数据规模对翻译质量的影响。针对每个数据集，都独立训练了一个微调模型。使用了常用的机器翻译评估指标（BLEU、chrF++、TER和COMET）来评估翻译质量。微调过程使用了标准的监督学习方法，目标是最小化模型预测与人工翻译之间的差异。具体参数设置未在摘要中详细说明，属于未知信息。
📊 实验亮点
实验结果表明，随着训练数据集规模的增大，翻译性能显著提升。在最大的训练集（207k片段）上，BLEU和COMET得分平均分别提高了13和25个点。当使用较小的数据集（1k和2k片段）进行微调时，性能反而低于基线模型，表明数据规模对微调效果至关重要。该研究为企业选择合适的训练数据规模提供了重要参考。
🎯 应用场景
该研究成果可应用于各种需要高质量、定制化翻译的场景，例如软件本地化、技术文档翻译、法律文件翻译等。企业可以利用自身积累的翻译记忆，微调LLMs，构建专属的翻译引擎，提高翻译效率和质量，降低翻译成本。该方法还可以推广到其他领域，例如医学、金融等，为特定领域的翻译提供更有效的解决方案。
📄 摘要（原文）
Decoder-only LLMs have shown impressive performance in MT due to their ability to learn from extensive datasets and generate high-quality translations. However, LLMs often struggle with the nuances and style required for organisation-specific translation. In this study, we explore the effectiveness of fine-tuning Large Language Models (LLMs), particularly Llama 3 8B Instruct, leveraging translation memories (TMs), as a valuable resource to enhance accuracy and efficiency. We investigate the impact of fine-tuning the Llama 3 model using TMs from a specific organisation in the software sector. Our experiments cover five translation directions across languages of varying resource levels (English to Brazilian Portuguese, Czech, German, Finnish, and Korean). We analyse diverse sizes of training datasets (1k to 207k segments) to evaluate their influence on translation quality. We fine-tune separate models for each training set and evaluate their performance based on automatic metrics, BLEU, chrF++, TER, and COMET. Our findings reveal improvement in translation performance with larger datasets across all metrics. On average, BLEU and COMET scores increase by 13 and 25 points, respectively, on the largest training set against the baseline model. Notably, there is a performance deterioration in comparison with the baseline model when fine-tuning on only 1k and 2k examples; however, we observe a substantial improvement as the training dataset size increases. The study highlights the potential of integrating TMs with LLMs to create bespoke translation models tailored to the specific needs of businesses, thus enhancing translation quality and reducing turn-around times. This approach offers a valuable insight for organisations seeking to leverage TMs and LLMs for optimal translation outcomes, especially in narrower domains.