Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning

📄 arXiv: 2410.02631v1 📥 PDF

作者: Tianxiang Hu, Pei Zhang, Baosong Yang, Jun Xie, Derek F. Wong, Rui Wang

分类: cs.CL

发布日期: 2024-10-03

💡 一句话要点

提出领域链式思维微调以解决多领域翻译问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多领域翻译 大型语言模型 链式思维 微调技术 机器翻译 性能评估 领域适应性

📋 核心要点

  1. 多领域机器翻译面临数据不平衡和领域过拟合等挑战，导致翻译质量不稳定。
  2. 提出领域链式思维微调技术，利用大型语言模型的多领域智能来改善翻译效果。
  3. 实验结果显示，该方法在翻译准确性和领域鲁棒性上显著优于传统微调，BLEU分数提升1.53。

📝 摘要（中文）

在多领域机器翻译中，保持高质量的翻译仍然是一个重大挑战，主要由于各领域可用的平行训练数据有限且不平衡。尽管大型语言模型在理解和生成能力上表现出色，但其在多领域翻译中的潜力尚未得到充分探索。本文建立了一个全面的多领域翻译基准，评估了多种大型语言模型的表现，发现其在传统机器翻译系统面前存在明显的性能差距。为了解决领域过拟合和灾难性遗忘问题，提出了一种领域链式思维微调技术，利用大型语言模型的内在多领域智能来提升翻译性能。尽管仅在四个领域的小数据集上训练，该方法在翻译准确性和领域鲁棒性上均取得了显著提升，尤其在20多个德语到英语的不同领域外测试中，BLEU分数平均提高了1.53。

🔬 方法详解

问题定义：本文旨在解决多领域机器翻译中的领域过拟合和灾难性遗忘问题。现有方法在有限的领域数据上微调后，常常导致模型在其他领域的表现下降。

核心思路：提出领域链式思维微调技术，激励大型语言模型从源文本中感知领域信息，以此作为翻译过程中的提示，从而提升翻译质量。

技术框架：整体架构包括数据准备、模型预训练、领域链式思维微调和性能评估四个主要模块。首先，构建多领域平行数据集，然后对大型语言模型进行预训练，接着应用链式思维微调，最后通过BLEU分数等指标评估模型性能。

关键创新：最重要的创新点在于引入链式思维微调，利用模型的内在多领域智能来指导翻译过程，与传统的单领域微调方法相比，显著提高了模型的领域适应性和翻译准确性。

关键设计：在微调过程中，采用特定的损失函数来平衡不同领域的训练数据，并设计了适应性学习率调整策略，以确保模型在多个领域间的平衡学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，领域链式思维微调方法在翻译准确性和领域鲁棒性上显著优于传统微调，尤其在20多个德语到英语的不同领域外测试中，BLEU分数平均提高了1.53，显示出该方法的有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括跨领域的机器翻译系统、国际化软件开发以及多语言内容生成等。通过提升多领域翻译的准确性和鲁棒性，该方法能够为全球化业务提供更高效的语言解决方案，未来可能推动多语言交流的便利性和准确性。

📄 摘要（原文）

Achieving consistent high-quality machine translation (MT) across diverse domains remains a significant challenge, primarily due to the limited and imbalanced parallel training data available in various domains. While large language models (LLMs) have demonstrated impressive general understanding and generation abilities, their potential in multi-domain MT is under-explored. We establish a comprehensive benchmark for multi-domain translation, featuring 25 German$\Leftrightarrow$English and 22 Chinese$\Leftrightarrow$English test sets respectively covering 15 domains. Our evaluation of prominent LLMs reveals a discernible performance gap against traditional MT systems, highlighting domain overfitting and catastrophic forgetting issues after fine-tuning on domain-limited corpora. To mitigate this, we propose a domain Chain of Thought (CoT) fine-tuning technique that utilizes the intrinsic multi-domain intelligence of LLMs to improve translation performance. This method inspires the LLM to perceive domain information from the source text, which then serves as a helpful hint to guide the translation process. Despite being trained on a small dataset of four domains, our CoT fine-tune approach achieves notable enhancements in translation accuracy and domain robustness than traditional fine-tuning, as evidenced by an average 1.53 BLEU score increase in over 20 German$\rightarrow$English distinct out-of-domain tests.