What do Large Language Models Need for Machine Translation Evaluation?

📄 arXiv: 2410.03278v2 📥 PDF

作者: Shenbin Qian, Archchana Sindhujan, Minnie Kabra, Diptesh Kanojia, Constantin Orăsan, Tharindu Ranasinghe, Frédéric Blain

分类: cs.CL

发布日期: 2024-10-04 (更新: 2024-10-09)

备注: Accepted to EMNLP 2024 Main Conference

💡 一句话要点

研究大型语言模型在机器翻译评估中的信息需求与提示策略

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 机器翻译评估 提示工程 零样本学习 思维链 低资源语言 自然语言处理 自动评估

📋 核心要点

  1. 现有机器翻译评估方法依赖于微调的多语言预训练模型，而大型语言模型在评估任务中展现出潜力，但其信息需求尚不明确。
  2. 本文通过实验分析了源语言、参考译文等信息对LLM评估性能的影响，并探索了零样本、CoT和少样本提示等策略。
  3. 实验结果表明，参考译文对LLM评估至关重要，更大的模型更受益于CoT提示，但LLM并非总是提供数值评分，可靠性存疑。

📝 摘要（中文）

本文探讨了大型语言模型（LLM）在机器翻译（MT）质量评估中所需的信息，例如源语言、参考译文、翻译错误和标注指南。同时，研究了零样本、思维链（CoT）和少样本提示等技术在不同LLM变体上，针对高、中、低资源语言的八个语种对的表现。研究结果表明，参考译文对于基于LLM的评估至关重要。虽然更大的模型不一定表现更好，但它们往往能从CoT提示中获益更多。此外，观察到LLM在生成评估结果时并非总是提供数值评分，这对其在该任务中的可靠性提出了质疑。本研究为资源受限且无需训练的基于LLM的机器翻译评估提供了一个全面的分析。我们将公开发布所积累的提示模板、代码和数据，以保证可复现性。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在机器翻译（MT）评估任务中，需要哪些关键信息才能有效评估翻译质量。现有方法，如依赖人工评估或微调的预训练模型，成本高昂或需要大量训练数据，而直接利用LLM进行评估面临信息需求不明确的问题。

核心思路：论文的核心思路是通过控制输入LLM的信息类型（如源语言、参考译文、错误类型等）和提示方式（如零样本、CoT、少样本），系统性地分析不同因素对LLM评估性能的影响。通过对比不同配置下的评估结果，揭示LLM在MT评估中的优势和局限性。

技术框架：该研究采用实验分析的方法，主要流程包括：1) 选择不同的LLM变体（具体模型未提及）；2) 针对八个语种对（覆盖高、中、低资源语言），构建不同的输入提示模板，包含或排除源语言、参考译文等信息；3) 使用不同的提示策略（零样本、CoT、少样本）；4) 利用LLM生成评估结果；5) 分析评估结果与人工评估或其他基线方法的对比，评估不同因素的影响。

关键创新：论文的关键创新在于系统性地研究了LLM在机器翻译评估中的信息需求和提示策略。以往研究主要关注LLM在MT评估中的整体性能，而本文深入探讨了哪些信息对LLM的评估能力至关重要，以及如何通过合适的提示策略来提升LLM的评估效果。

关键设计：论文的关键设计包括：1) 针对不同语种对的实验设置，保证了研究的泛化性；2) 多种提示策略的对比，探索了CoT等高级提示方法在MT评估中的作用；3) 对LLM输出结果的分析，不仅关注数值评分，还关注LLM是否提供评分，从而评估其可靠性。具体的参数设置、损失函数、网络结构等技术细节未在摘要中提及。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，参考译文对于LLM进行机器翻译评估至关重要。更大的模型并不总是表现更好，但它们通常能从CoT提示中获得更大的收益。此外，研究发现LLM在生成评估结果时并非总是提供数值评分，这对其在该任务中的可靠性提出了质疑。

🎯 应用场景

该研究成果可应用于机器翻译系统的自动评估，降低人工评估成本，加速模型迭代。尤其对于低资源语言，该方法具有重要意义。未来可进一步探索如何利用LLM生成更可靠、更细粒度的翻译质量评估报告，辅助翻译人员进行校对和改进。

📄 摘要（原文）

Leveraging large language models (LLMs) for various natural language processing tasks has led to superlative claims about their performance. For the evaluation of machine translation (MT), existing research shows that LLMs are able to achieve results comparable to fine-tuned multilingual pre-trained language models. In this paper, we explore what translation information, such as the source, reference, translation errors and annotation guidelines, is needed for LLMs to evaluate MT quality. In addition, we investigate prompting techniques such as zero-shot, Chain of Thought (CoT) and few-shot prompting for eight language pairs covering high-, medium- and low-resource languages, leveraging varying LLM variants. Our findings indicate the importance of reference translations for an LLM-based evaluation. While larger models do not necessarily fare better, they tend to benefit more from CoT prompting, than smaller models. We also observe that LLMs do not always provide a numerical score when generating evaluations, which poses a question on their reliability for the task. Our work presents a comprehensive analysis for resource-constrained and training-less LLM-based evaluation of machine translation. We release the accrued prompt templates, code and data publicly for reproducibility.