Towards Chapter-to-Chapter Context-Aware Literary Translation via Large Language Models

📄 arXiv: 2407.08978v1 📥 PDF

作者: Linghao Jin, Li An, Xuezhe Ma

分类: cs.CL, cs.LG

发布日期: 2024-07-12

备注: Preprint

💡 一句话要点

提出基于大型语言模型的章节级文学翻译方法，并构建新的中英文学翻译数据集。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器翻译 大型语言模型 文学翻译 上下文感知 章节级翻译

📋 核心要点

  1. 现有文档级翻译数据集缺乏篇章现象，且依赖不现实的句子级对齐，限制了上下文感知机器翻译的发展。
  2. 论文提出章节到章节（Ch2Ch）的翻译设置，并探索了大型语言模型在该设置下的微调方法。
  3. 实验表明，在Ch2Ch文学翻译中微调大型语言模型能显著提升翻译性能，但该任务在模型学习和解码上仍具挑战。

📝 摘要（中文）

现有的文档级翻译数据集中篇章现象稀疏，这一直是上下文感知机器翻译模型发展的一个根本障碍。此外，大多数现有的文档级语料库和上下文感知机器翻译方法都依赖于不切实际的句子级对齐假设。为了缓解这些问题，我们首先整理了一个新的中英文学数据集，其中包含160本具有复杂篇章结构的书籍。然后，我们为上下文感知翻译提出了一个更实用和更具挑战性的设置，称为章节到章节（Ch2Ch）翻译，并研究了常用机器翻译模型在此设置下的性能。此外，我们介绍了一种在Ch2Ch文学翻译领域内微调大型语言模型（LLM）的潜在方法，与基线相比，产生了令人印象深刻的改进。通过我们的综合分析，我们揭示了Ch2Ch设置下的文学翻译本质上具有挑战性，无论是在模型学习方法还是翻译解码算法方面。

🔬 方法详解

问题定义：现有文档级机器翻译数据集缺乏足够的篇章信息，难以训练出真正具备上下文理解能力的翻译模型。此外，现有方法通常假设句子级别的对齐是已知的，这在实际应用中往往是不成立的，尤其是在文学翻译领域。因此，如何构建更贴近实际应用场景、更具挑战性的上下文感知翻译任务，并探索有效的解决方案，是本文要解决的核心问题。

核心思路：本文的核心思路是，通过构建一个大规模的、具有复杂篇章结构的文学翻译数据集，并提出章节到章节（Ch2Ch）的翻译设置，来模拟真实的翻译场景。同时，利用大型语言模型（LLM）强大的语言建模能力，通过在Ch2Ch数据集上进行微调，使其能够更好地理解和生成具有上下文一致性的翻译结果。

技术框架：整体框架包含以下几个主要步骤：1) 构建中英文学翻译数据集，该数据集包含160本书籍，具有复杂的篇章结构；2) 定义章节到章节（Ch2Ch）的翻译任务，即将一个章节的原文翻译成对应章节的译文；3) 选择合适的大型语言模型作为基础模型；4) 在构建的Ch2Ch数据集上对LLM进行微调；5) 评估微调后的LLM在Ch2Ch翻译任务上的性能。

关键创新：主要创新点在于：1) 提出了章节到章节（Ch2Ch）的翻译设置，更贴近实际的翻译场景，更具挑战性；2) 构建了一个大规模的中英文学翻译数据集，为上下文感知机器翻译的研究提供了数据基础；3) 探索了利用大型语言模型进行文学翻译的可能性，并取得了显著的性能提升。与现有方法相比，本文更加关注篇章级别的上下文信息，并利用LLM强大的语言建模能力来提升翻译质量。

关键设计：论文中关于LLM微调的具体参数设置、损失函数、网络结构等技术细节没有明确给出，属于未知信息。但可以推测，可能采用了常见的Transformer结构，并使用了交叉熵损失函数进行训练。微调过程中可能需要调整学习率、batch size等超参数，以获得最佳的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在Ch2Ch文学翻译任务中，通过在大型语言模型上进行微调，可以显著提升翻译性能。具体的性能数据和提升幅度在摘要中没有明确给出，属于未知信息。但论文强调，与基线方法相比，该方法取得了令人印象深刻的改进，表明了大型语言模型在文学翻译领域的潜力。

🎯 应用场景

该研究成果可应用于文学作品的自动翻译、跨文化交流、语言学习等领域。通过提高机器翻译的质量和流畅度，有助于更好地传播文学作品，促进不同文化之间的理解和交流。未来，该方法有望应用于更广泛的文档级翻译任务，并为构建更智能、更自然的机器翻译系统提供技术支持。

📄 摘要（原文）

Discourse phenomena in existing document-level translation datasets are sparse, which has been a fundamental obstacle in the development of context-aware machine translation models. Moreover, most existing document-level corpora and context-aware machine translation methods rely on an unrealistic assumption on sentence-level alignments. To mitigate these issues, we first curate a novel dataset of Chinese-English literature, which consists of 160 books with intricate discourse structures. Then, we propose a more pragmatic and challenging setting for context-aware translation, termed chapter-to-chapter (Ch2Ch) translation, and investigate the performance of commonly-used machine translation models under this setting. Furthermore, we introduce a potential approach of finetuning large language models (LLMs) within the domain of Ch2Ch literary translation, yielding impressive improvements over baselines. Through our comprehensive analysis, we unveil that literary translation under the Ch2Ch setting is challenging in nature, with respect to both model learning methods and translation decoding algorithms.