Terminology-Aware Translation with Constrained Decoding and Large Language Model Prompting

📄 arXiv: 2310.05824v1 📥 PDF

作者: Nikolay Bogoychev, Pinzhen Chen

分类: cs.CL

发布日期: 2023-10-09

备注: WMT 2023 Terminology Translation Task

💡 一句话要点

提出术语感知翻译方法以解决术语准确性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 术语翻译 机器翻译 大型语言模型 术语感知 后处理方法

📋 核心要点

  1. 现有机器翻译方法在术语准确性方面存在不足，难以保证翻译结果符合特定领域的术语要求。
  2. 论文提出了一种先翻译后修正的策略，通过伪术语翻译训练术语感知模型，并结合对齐和大型语言模型进行后处理。
  3. 实验结果显示，术语感知模型有效整合术语，大型语言模型的修正进一步提升了术语的召回率。

📝 摘要（中文）

术语的正确性在机器翻译的下游应用中至关重要，常见的确保方法是将术语约束注入翻译系统。在WMT 2023术语翻译任务中，我们采用了一种先翻译后修正的方法，该方法具有领域独立性且需要最少的人工干预。我们通过对随机源词进行伪术语翻译注释，首先训练一个术语感知模型。此外，我们探索了两种后处理方法。首先，使用对齐过程检查术语约束是否被违反，如果违反，则重新解码并对违反的词施加负约束。或者，我们利用大型语言模型，通过提供术语约束来优化假设。结果表明，我们的术语感知模型能够有效地融入术语，而大型语言模型的修正过程可以进一步提高术语召回率。

🔬 方法详解

问题定义：本论文旨在解决机器翻译中术语准确性不足的问题。现有方法往往难以有效地处理特定领域的术语，导致翻译结果不符合专业要求。

核心思路：论文提出了一种先翻译后修正的策略，首先通过伪术语翻译训练术语感知模型，然后利用对齐和大型语言模型进行后处理，以确保术语的准确性。

技术框架：整体架构包括两个主要阶段：第一阶段是训练术语感知模型，第二阶段是后处理，包含对齐检查和大型语言模型的修正。

关键创新：最重要的创新在于结合了术语感知模型与大型语言模型的修正过程，形成了一种新颖的翻译优化策略，与传统方法相比，能够更有效地处理术语约束。

关键设计：在模型训练中，采用伪术语翻译注释源词，并在后处理阶段使用对齐过程检查术语约束的违反情况，必要时进行重新解码。

🖼️ 关键图片

fig_0
img_1

📊 实验亮点

实验结果表明，术语感知模型在术语整合方面表现出色，且大型语言模型的修正过程显著提高了术语召回率，具体提升幅度未知。与基线模型相比，整体性能有明显改善，展示了该方法的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在法律、医学等专业领域的机器翻译中，能够确保翻译结果符合行业标准和术语要求。未来，该方法可以进一步推广到其他需要高术语准确性的翻译任务中，提升翻译质量和用户满意度。

📄 摘要（原文）

Terminology correctness is important in the downstream application of machine translation, and a prevalent way to ensure this is to inject terminology constraints into a translation system. In our submission to the WMT 2023 terminology translation task, we adopt a translate-then-refine approach which can be domain-independent and requires minimal manual efforts. We annotate random source words with pseudo-terminology translations obtained from word alignment to first train a terminology-aware model. Further, we explore two post-processing methods. First, we use an alignment process to discover whether a terminology constraint has been violated, and if so, we re-decode with the violating word negatively constrained. Alternatively, we leverage a large language model to refine a hypothesis by providing it with terminology constraints. Results show that our terminology-aware model learns to incorporate terminologies effectively, and the large language model refinement process can further improve terminology recall.