Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation

📄 arXiv: 2405.10443v4 📥 PDF

作者: Matthew Raffel, Victor Agostinelli, Lizhong Chen

分类: cs.CL, cs.LG

发布日期: 2024-05-16 (更新: 2024-10-09)

备注: Accepted at EMNLP 2024

💡 一句话要点

SimulMask：通过注意力掩码微调LLM，实现高效同步翻译

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 同步翻译 大型语言模型 注意力掩码 微调 机器翻译

📋 核心要点

  1. 现有同步翻译LLM微调方法依赖提示优化，存在训练集膨胀、计算低效等问题。
  2. SimulMask通过注意力掩码模拟同步翻译过程，避免了传统方法的弊端。
  3. 实验表明，SimulMask在翻译质量上优于现有方法，并降低了计算成本。

📝 摘要（中文）

大型语言模型（LLMs）在各种语言处理任务中取得了最先进的性能，这促使它们被应用于同步翻译。目前用于调整LLM以适应同步翻译的微调方法主要集中在使用数据增强或提示结构修改的提示优化策略。然而，这些方法存在一些问题，例如不必要地扩展训练集、因转储键和值缓存而导致的计算效率低下、增加提示大小或限制为单一决策策略。为了消除这些问题，在这项工作中，我们提出SimulMask，一种用于微调LLM以进行同步翻译的新范例。它利用一种新颖的注意力掩码方法，通过为所需的决策策略屏蔽注意力，从而在微调期间对同步翻译进行建模。将所提出的SimulMask应用于Falcon LLM的IWSLT 2017数据集，我们观察到与五种语言对上的最先进的提示优化策略相比，翻译质量显着提高，同时降低了计算成本。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在同步翻译任务中的微调问题。现有方法，如提示优化策略，存在训练数据量大、计算效率低、提示过长以及决策策略单一等痛点。这些问题限制了LLM在同步翻译中的实际应用效果。

核心思路：论文的核心思路是利用注意力掩码（Attention Mask）来模拟同步翻译过程。通过在微调过程中，根据预定的决策策略，动态地屏蔽LLM的注意力机制，从而使模型学习到同步翻译的特性。这种方法避免了对训练数据进行过度增强，并允许模型学习不同的决策策略。

技术框架：SimulMask的技术框架主要包括以下几个步骤：1) 选择一个预训练的LLM作为基础模型。2) 定义一个同步翻译的决策策略，例如，在读取一定数量的源语言词汇后，开始生成目标语言词汇。3) 根据决策策略，生成一个注意力掩码，该掩码指示模型在每个时间步应该关注哪些源语言词汇。4) 使用带有注意力掩码的训练数据对LLM进行微调。

关键创新：SimulMask的关键创新在于使用注意力掩码来建模同步翻译过程。与传统的提示优化方法相比，SimulMask不需要对训练数据进行过度增强，也不需要修改LLM的结构。此外，SimulMask可以灵活地支持不同的决策策略，从而允许模型在翻译质量和延迟之间进行权衡。

关键设计：SimulMask的关键设计包括：1) 注意力掩码的生成方式，需要根据决策策略精确地控制模型在每个时间步的注意力范围。2) 微调过程中的损失函数，需要能够有效地引导模型学习同步翻译的特性。3) 决策策略的选择，需要根据具体的应用场景进行调整，以达到最佳的翻译效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在IWSLT 2017数据集上，SimulMask应用于Falcon LLM，在五个语言对上均取得了显著的翻译质量提升，超越了最先进的提示优化策略。同时，SimulMask还降低了计算成本，验证了其高效性和实用性。具体性能数据和提升幅度在论文中详细给出。

🎯 应用场景

SimulMask可应用于实时会议翻译、同声传译、字幕生成等领域。该方法能有效提升翻译质量，降低计算成本，并支持多种决策策略，具有重要的实际应用价值和广阔的应用前景。未来可进一步探索其在低资源语言和复杂场景下的应用。

📄 摘要（原文）

Large language models (LLMs) have achieved state-of-the-art performance in various language processing tasks, motivating their adoption in simultaneous translation. Current fine-tuning methods to adapt LLMs for simultaneous translation focus on prompting optimization strategies using either data augmentation or prompt structure modifications. However, these methods suffer from several issues, such as unnecessarily expanded training sets, computational inefficiency from dumping the key and value cache, increased prompt sizes, or restriction to a single decision policy. To eliminate these issues, in this work, we propose SimulMask, a new paradigm for fine-tuning LLMs for simultaneous translation. It utilizes a novel attention mask approach that models simultaneous translation during fine-tuning by masking attention for a desired decision policy. Applying the proposed SimulMask on a Falcon LLM for the IWSLT 2017 dataset, we have observed a significant translation quality improvement compared to state-of-the-art prompting optimization strategies on five language pairs while reducing the computational cost.