Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing

📄 arXiv: 2310.14855v2 📥 PDF

作者: Sai Koneru, Miriam Exel, Matthias Huck, Jan Niehues

分类: cs.CL, cs.AI

发布日期: 2023-10-23 (更新: 2024-03-18)

备注: NAACL 2024

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出基于大语言模型的自动后编辑方法以提升翻译质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 自动后编辑 神经机器翻译 低秩适配器 代词歧义 翻译质量提升 上下文理解

📋 核心要点

  1. 现有的神经机器翻译方法在处理复杂上下文时表现不足，尤其是在代词歧义解决方面。
  2. 本文提出将大语言模型作为自动后编辑器，利用其处理长序列的能力，提升翻译质量。
  3. 通过低秩适配器微调，本文在ContraPro测试集上实现了89%的准确率，显著提高了翻译性能。

📝 摘要（中文）

大语言模型（LLM）在自然语言处理任务中表现出色，但在神经机器翻译（NMT）中尚未达到最先进的性能。本文探讨了将LLM用于机器翻译的潜力，尤其是通过参数高效的微调技术。研究发现，直接微调LLM用于翻译可能导致性能下降，因此提出将LLM作为自动后编辑器（APE）而非直接翻译器的替代方案。通过低秩适配器微调，本文在句子和文档级翻译中均取得显著提升，尤其在英德翻译中的代词歧义解决上达到了89%的准确率。此外，研究还探讨了在文档级翻译中结合人工后编辑的实用场景，显示出人类修正可以显著减少后续翻译所需的编辑量。

🔬 方法详解

问题定义：本文旨在解决现有神经机器翻译方法在处理上下文和代词歧义时的不足，尤其是在长文本翻译中的表现不佳。现有方法在微调过程中可能导致性能下降，影响翻译质量。

核心思路：论文提出将大语言模型（LLM）作为自动后编辑器（APE），而非直接翻译器，利用其强大的上下文理解能力和生成能力来改善翻译结果。通过这种方式，避免了直接微调带来的性能下降问题。

技术框架：整体架构包括数据预处理、模型微调和后编辑三个主要模块。首先，利用低秩适配器对LLM进行微调，然后在翻译后进行人工后编辑，最后结合人类反馈进行迭代优化。

关键创新：最重要的技术创新在于将LLM作为APE进行翻译后处理，显著提升了翻译的准确性和上下文理解能力。这一方法与传统的直接翻译方法本质上不同，强调了后编辑的重要性。

关键设计：在微调过程中，采用低秩适配器技术以减少计算资源消耗，同时保持模型性能。此外，设计了特定的损失函数以优化代词歧义的解决能力，确保翻译的准确性和流畅性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用低秩适配器微调的自动后编辑方法在句子和文档级翻译中均取得显著提升，尤其在ContraPro测试集上达到了89%的准确率，超越了现有基线，展示了该方法的有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括翻译服务、内容创作和跨语言信息检索等。通过结合人工后编辑，提升翻译质量和效率，能够为多语言环境中的沟通提供更好的支持，未来可能在全球化交流中发挥重要作用。

📄 摘要（原文）

Large Language Models (LLM's) have demonstrated considerable success in various Natural Language Processing tasks, but they have yet to attain state-of-the-art performance in Neural Machine Translation (NMT). Nevertheless, their significant performance in tasks demanding a broad understanding and contextual processing shows their potential for translation. To exploit these abilities, we investigate using LLM's for MT and explore recent parameter-efficient fine-tuning techniques. Surprisingly, our initial experiments find that fine-tuning for translation purposes even led to performance degradation. To overcome this, we propose an alternative approach: adapting LLM's as Automatic Post-Editors (APE) rather than direct translators. Building on the LLM's exceptional ability to process and generate lengthy sequences, we also propose extending our approach to document-level translation. We show that leveraging Low-Rank-Adapter fine-tuning for APE can yield significant improvements across both sentence and document-level metrics while generalizing to out-of-domain data. Most notably, we achieve a state-of-the-art accuracy rate of 89\% on the ContraPro test set, which specifically assesses the model's ability to resolve pronoun ambiguities when translating from English to German. Lastly, we investigate a practical scenario involving manual post-editing for document-level translation, where reference context is made available. Here, we demonstrate that leveraging human corrections can significantly reduce the number of edits required for subsequent translations (Interactive Demo for integrating manual feedback can be found here: https://huggingface.co/spaces/skoneru/contextual_refinement_ende).