An Empirical Study of Translation Hypothesis Ensembling with Large Language Models

📄 arXiv: 2310.11430v1 📥 PDF

作者: António Farinhas, José G. C. de Souza, André F. T. Martins

分类: cs.CL

发布日期: 2023-10-17

备注: EMNLP 2023 (main conference)

💡 一句话要点

通过假设集成提升LLM机器翻译质量

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器翻译 假设集成 最小贝叶斯风险 指令调优 文本生成

📋 核心要点

  1. 现有的LLM在机器翻译中存在幻觉和不可靠输出的问题，影响翻译质量。
  2. 论文提出通过假设集成技术来提升LLM生成文本的质量，探索多种生成和重排序策略。
  3. 实验结果表明，MBR解码显著提升翻译质量，且少量样本即可实现有效改进。

📝 摘要（中文）

大型语言模型（LLMs）正逐渐成为多种任务的通用解决方案，但它们有时会产生幻觉或不可靠的输出。本文研究了假设集成如何改善LLM基础机器翻译生成文本的质量。我们对多种假设集成技术进行了实验，包括使用ChatGPT、LLaMA和Alpaca生成的假设。研究涵盖了多个维度，包括生成假设的方法（多重提示、基于温度的采样和束搜索）以及最终翻译的生成策略（基于指令、质量重排序和最小贝叶斯风险（MBR）解码）。结果表明，MBR解码是一种非常有效的方法，翻译质量可以通过少量样本得到提升，且指令调优对假设多样性与采样温度之间的关系有显著影响。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在机器翻译中产生幻觉和不可靠输出的问题，现有方法在生成质量上存在不足。

核心思路：通过假设集成技术，结合多种生成方法和重排序策略，提升翻译质量，确保生成文本的可靠性和多样性。

技术框架：整体架构包括假设生成模块（使用多重提示、温度采样和束搜索）和最终翻译生成模块（采用指令重排序、质量重排序和MBR解码）。

关键创新：最重要的创新在于引入MBR解码作为最终翻译生成策略，显著提升了翻译的质量，并探索了指令调优对假设多样性的影响。

关键设计：在实验中，采用了不同的采样温度和提示设计，优化了重排序策略，确保了生成假设的多样性与质量之间的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MBR解码在翻译质量上表现优异，相较于基线方法提升幅度显著。通过少量样本的使用，翻译质量得到了有效改善，指令调优对假设多样性与采样温度的关系也得到了深入分析。

🎯 应用场景

该研究的潜在应用领域包括机器翻译、文本生成和自然语言处理等。通过提升翻译质量，能够更好地满足多语言沟通的需求，具有重要的实际价值和广泛的未来影响。

📄 摘要（原文）

Large language models (LLMs) are becoming a one-fits-many solution, but they sometimes hallucinate or produce unreliable output. In this paper, we investigate how hypothesis ensembling can improve the quality of the generated text for the specific problem of LLM-based machine translation. We experiment with several techniques for ensembling hypotheses produced by LLMs such as ChatGPT, LLaMA, and Alpaca. We provide a comprehensive study along multiple dimensions, including the method to generate hypotheses (multiple prompts, temperature-based sampling, and beam search) and the strategy to produce the final translation (instruction-based, quality-based reranking, and minimum Bayes risk (MBR) decoding). Our results show that MBR decoding is a very effective method, that translation quality can be improved using a small number of samples, and that instruction tuning has a strong impact on the relation between the diversity of the hypotheses and the sampling temperature.