Long-Form Speech Translation through Segmentation with Finite-State Decoding Constraints on Large Language Models

📄 arXiv: 2310.13678v2 📥 PDF

作者: Arya D. McCarthy, Hao Zhang, Shankar Kumar, Felix Stahlberg, Ke Wu

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-20 (更新: 2023-10-23)

备注: accepted to the Findings of EMNLP 2023. arXiv admin note: text overlap with arXiv:2212.09895

💡 一句话要点

通过有限状态解码约束改进长语音翻译质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长语音翻译 有限状态约束 大型语言模型 自动语音识别 翻译质量提升

📋 核心要点

  1. 长篇口语内容的翻译质量受限于短单位的翻译能力，现有方法难以有效处理。
  2. 本文提出通过将长ASR转录文本分割为独立段落来提高翻译质量，结合有限状态约束以减少无效输出。
  3. 实验结果表明，最佳LLM在多个语言对的翻译中相较于基线提升了2.9个BLEU分数，显示出显著的效果。

📝 摘要（中文）

在语音翻译中，长篇口语内容的存在使得短单位的翻译质量难以保证。为了解决这一矛盾，本文提出了一种将大型语言模型（LLMs）适应于将长的自动语音识别（ASR）转录文本分割成可独立翻译的段落的方法，从而最大化整体翻译质量。通过在解码过程中引入有限状态约束，消除了无效输出，避免了额外训练的需求。研究发现，LLMs能够通过提示调优或微调适应包含ASR错误的转录文本。与现有的自动标点基线相比，最佳LLM在9个测试集上对英语-德语、英语-西班牙语和英语-阿拉伯语的TED演讲翻译平均提高了2.9个BLEU分数，仅通过改善分段实现。

🔬 方法详解

问题定义：本文旨在解决长篇口语内容翻译中短单位翻译质量不足的问题。现有方法在处理长ASR转录文本时，容易导致翻译不准确或无效输出。

核心思路：通过将长转录文本分割为短段落进行独立翻译，结合有限状态约束来消除无效输出，从而提升整体翻译质量。这样的设计能够有效减少LLMs的幻觉现象。

技术框架：整体架构包括三个主要模块：首先是ASR转录文本的分割模块，其次是基于LLMs的翻译模块，最后是引入有限状态约束的解码模块。各模块协同工作以实现高质量翻译。

关键创新：最重要的创新在于将有限状态约束引入LLMs的解码过程中，这一方法不需要额外的训练即可有效消除无效输出，显著提升翻译质量。

关键设计：在模型设计中，采用了特定的损失函数来优化翻译质量，并通过提示调优或微调来增强模型对包含ASR错误的转录文本的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最佳LLM在9个测试集上对英语-德语、英语-西班牙语和英语-阿拉伯语的TED演讲翻译平均提高了2.9个BLEU分数，相较于现有的自动标点基线，展现了显著的性能提升，验证了分段方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括多语言翻译系统、实时语音翻译服务以及教育领域的语言学习工具。通过提高长篇口语内容的翻译质量，能够更好地服务于国际会议、在线课程和跨文化交流等场景，具有重要的实际价值和未来影响。

📄 摘要（原文）

One challenge in speech translation is that plenty of spoken content is long-form, but short units are necessary for obtaining high-quality translations. To address this mismatch, we adapt large language models (LLMs) to split long ASR transcripts into segments that can be independently translated so as to maximize the overall translation quality. We overcome the tendency of hallucination in LLMs by incorporating finite-state constraints during decoding; these eliminate invalid outputs without requiring additional training. We discover that LLMs are adaptable to transcripts containing ASR errors through prompt-tuning or fine-tuning. Relative to a state-of-the-art automatic punctuation baseline, our best LLM improves the average BLEU by 2.9 points for English-German, English-Spanish, and English-Arabic TED talk translation in 9 test sets, just by improving segmentation.