Domain Terminology Integration into Machine Translation: Leveraging Large Language Models

📄 arXiv: 2310.14451v1 📥 PDF

作者: Yasmin Moslem, Gianfranco Romani, Mahdi Molaei, Rejwanul Haque, John D. Kelleher, Andy Way

分类: cs.CL

发布日期: 2023-10-22

备注: WMT 2023

期刊: Proceedings of the Eighth Conference on Machine Translation (2023), pages 902-911

DOI: 10.18653/v1/2023.wmt-1.82

💡 一句话要点

利用大型语言模型提升机器翻译中的术语整合

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器翻译 术语整合 大型语言模型 合成数据 微调模型

📋 核心要点

  1. 核心问题：现有机器翻译模型在处理专业术语时准确性不足，导致翻译效果不理想。
  2. 方法要点：提出利用大型语言模型生成合成双语术语数据，并结合后期编辑技术来整合术语。
  3. 实验或效果：通过实验，术语整合的成功率从36.67%提升至72.88%，显示出显著的改进。

📝 摘要（中文）

本文讨论了我们在WMT 2023术语共享任务中提交的德英、英捷和中英语言对的机器翻译方法。该任务旨在通过挑战参与者开发准确翻译技术术语的系统，提升专业领域的沟通与理解。我们通过实验利用大型语言模型（LLMs）生成合成双语术语数据，并对机器翻译模型生成的翻译进行后期编辑，以整合预先批准的术语。实验结果表明，所提方法显著提高了术语的整合效果，盲测数据集中术语的使用率从36.67%提升至72.88%。

🔬 方法详解

问题定义：本文旨在解决机器翻译中专业术语翻译不准确的问题。现有的机器翻译模型在处理技术术语时，往往无法有效整合预先批准的术语，导致翻译质量下降。

核心思路：我们提出了一种四步流程，利用大型语言模型生成合成双语数据，并对机器翻译模型进行微调，以提高术语的整合能力。通过这种方式，能够有效提升翻译的专业性和准确性。

技术框架：整体流程包括四个主要步骤：第一步，使用大型语言模型生成基于提供术语的双语合成数据；第二步，微调通用的编码-解码机器翻译模型，结合合成数据与随机抽样的原始训练数据；第三步，利用微调后的模型生成翻译；第四步，使用大型语言模型对未包含所需术语的翻译进行自动后期编辑。

关键创新：本研究的创新点在于将大型语言模型与机器翻译模型结合，形成了一种新的术语整合机制。这种方法在术语使用率上几乎翻倍，显著提高了翻译的专业性。

关键设计：在模型微调过程中，采用了混合数据集，包括合成的术语数据和原始数据，确保模型能够学习到专业术语的上下文。同时，后期编辑阶段的设计确保了翻译中术语的准确性和一致性。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果显示，盲测数据集中术语的使用率从36.67%提升至72.88%，几乎翻倍，表明所提方法在术语整合方面的有效性。与通用模型相比，术语整合的成功率显著提高，展示了大型语言模型在机器翻译中的潜力。

🎯 应用场景

该研究的潜在应用领域包括技术文档翻译、法律文本翻译以及医学文献翻译等专业领域。通过提高术语翻译的准确性，可以有效促进不同领域专家之间的沟通，提升信息传递的效率和准确性。未来，该方法有望在更多语言对和领域中推广应用。

📄 摘要（原文）

This paper discusses the methods that we used for our submissions to the WMT 2023 Terminology Shared Task for German-to-English (DE-EN), English-to-Czech (EN-CS), and Chinese-to-English (ZH-EN) language pairs. The task aims to advance machine translation (MT) by challenging participants to develop systems that accurately translate technical terms, ultimately enhancing communication and understanding in specialised domains. To this end, we conduct experiments that utilise large language models (LLMs) for two purposes: generating synthetic bilingual terminology-based data, and post-editing translations generated by an MT model through incorporating pre-approved terms. Our system employs a four-step process: (i) using an LLM to generate bilingual synthetic data based on the provided terminology, (ii) fine-tuning a generic encoder-decoder MT model, with a mix of the terminology-based synthetic data generated in the first step and a randomly sampled portion of the original generic training data, (iii) generating translations with the fine-tuned MT model, and (iv) finally, leveraging an LLM for terminology-constrained automatic post-editing of the translations that do not include the required terms. The results demonstrate the effectiveness of our proposed approach in improving the integration of pre-approved terms into translations. The number of terms incorporated into the translations of the blind dataset increases from an average of 36.67% with the generic model to an average of 72.88% by the end of the process. In other words, successful utilisation of terms nearly doubles across the three language pairs.