Source-primed Multi-turn Conversation Helps Large Language Models Translate Documents
作者: Hanxu Hu, Jannis Vamvas, Rico Sennrich
分类: cs.CL
发布日期: 2025-03-13
备注: 9 pages, 2 figures
💡 一句话要点
提出基于源语言引导的多轮对话方法，提升大语言模型文档翻译质量
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 文档翻译 机器翻译 大语言模型 多轮对话 上下文学习
📋 核心要点
- 文档级机器翻译面临省略错误等挑战，现有方法难以保证翻译的连贯性。
- 提出一种基于多轮对话的文档翻译方法，利用上下文信息提升翻译质量，无需额外训练。
- 实验结果表明，该方法在多个自动指标上优于单轮翻译和独立翻译，为文档级翻译提供新基线。
📝 摘要（中文）
大型语言模型（LLMs）为真正简单的文档级机器翻译铺平了道路，但省略错误等挑战仍然存在。本文研究了一种处理文档级机器翻译的简单方法，通过利用多轮对话中的先前上下文来实现。具体而言，通过将文档分解为多个片段并迭代地翻译它们，同时保持先前的轮次，该方法确保了连贯的翻译，而无需额外的训练，并且可以完全重用先前轮次的KV缓存，从而最大限度地减少了计算开销。我们进一步提出了一种“源语言引导”的方法，该方法首先提供整个源文档，然后再进行多轮翻译。经验表明，这种多轮方法在代表性LLM中，根据多个自动指标，优于单轮翻译整个文档和独立翻译每个片段的方法，为使用LLM进行文档级翻译建立了一个强大的基线。
🔬 方法详解
问题定义：论文旨在解决大语言模型在文档级机器翻译中出现的省略错误和连贯性问题。现有方法，如单轮翻译整个文档或独立翻译文档片段，无法有效利用上下文信息，导致翻译质量下降。
核心思路：论文的核心思路是将文档翻译转化为一个多轮对话过程。通过将文档分割成多个片段，并迭代地翻译这些片段，同时保留之前的翻译上下文，模型可以更好地理解文档的整体语义，从而生成更准确和连贯的翻译。此外，引入“源语言引导”策略，预先提供完整的源文档，帮助模型更好地理解文档的全局信息。
技术框架：该方法主要包含以下几个阶段：1) 文档分割：将源文档分割成多个片段。2) 多轮翻译：迭代地翻译每个片段，每次翻译都将之前的翻译上下文作为输入。3) 源语言引导：在开始多轮翻译之前，将整个源文档提供给模型。整个过程利用大语言模型本身的能力，无需额外的训练。
关键创新：该方法最重要的创新点在于将文档翻译问题转化为多轮对话问题，从而能够有效地利用上下文信息。与传统的单轮翻译方法相比，该方法能够更好地捕捉文档的整体语义，从而生成更连贯的翻译。此外，“源语言引导”策略进一步提升了翻译质量。
关键设计：该方法的关键设计包括：1) 文档分割策略：如何将文档分割成合适的片段，以平衡翻译质量和计算效率。2) 上下文管理：如何有效地利用和更新之前的翻译上下文。3) 源语言引导策略：如何将整个源文档有效地融入到多轮对话过程中。论文中并没有详细说明具体的参数设置、损失函数或网络结构，因为该方法主要依赖于现有大语言模型的能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在多个自动指标上优于单轮翻译整个文档和独立翻译每个片段的方法。具体性能数据未知，但论文强调该方法为使用LLM进行文档级翻译建立了一个强大的基线，表明其性能提升具有统计显著性。
🎯 应用场景
该研究成果可应用于各种需要高质量文档翻译的场景，例如跨语言信息检索、国际会议同声传译、多语言文档生成等。通过提升文档翻译的准确性和连贯性，可以促进跨文化交流和信息共享，具有重要的实际应用价值和广阔的应用前景。
📄 摘要（原文）
LLMs have paved the way for truly simple document-level machine translation, but challenges such as omission errors remain. In this paper, we study a simple method for handling document-level machine translation, by leveraging previous contexts in a multi-turn conversational manner. Specifically, by decomposing documents into segments and iteratively translating them while maintaining previous turns, this method ensures coherent translations without additional training, and can fully re-use the KV cache of previous turns thus minimizing computational overhead. We further propose a `source-primed' method that first provides the whole source document before multi-turn translation. We empirically show this multi-turn method outperforms both translating entire documents in a single turn and translating each segment independently according to multiple automatic metrics in representative LLMs, establishing a strong baseline for document-level translation using LLMs.