Exploring the Correlation between Human and Machine Evaluation of Simultaneous Speech Translation
作者: Xiaoman Wang, Claudio Fantinuoli
分类: cs.CL
发布日期: 2024-06-14
备注: Paper accepted at the European Association for Machine Translation conference 2024
💡 一句话要点
研究机器评估同声传译质量与人类评估的相关性，探索GPT模型的应用潜力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 同声传译评估 机器评估 人工评估 语义相似性 大型语言模型
📋 核心要点
- 现有的同声传译质量评估方法复杂且主观，难以自动化，且自动评估方法难以捕捉译员策略带来的非线性关系。
- 该研究通过分析自动指标与人工评估的相关性，探索利用句子嵌入和大型语言模型自动评估同声传译质量的方法。
- 实验结果表明，GPT模型，特别是GPT-3.5，在评估源文本和目标文本的语义相似性方面，与人类判断具有最强的相关性。
📝 摘要（中文）
评估口语翻译服务的性能是一项复杂的任务，因为它涉及到口语翻译的细微差别、译员采用的策略以及用户不同的期望。当应用自动评估方法时，这项任务的复杂性变得更加明显。特别是因为由于译员采用的策略，翻译文本在源语言和目标语言之间的线性关系较弱。本研究旨在通过分析自动指标与人类评估的相关性来评估自动指标在评估同声传译中的可靠性。我们专注于口译质量的一个特定特征，即翻译的准确性或忠实度。我们使用语言专家进行的人工评估作为基准，并评估句子嵌入和大型语言模型与它们的关联程度。我们量化源文本和翻译文本之间的语义相似性，而不依赖于参考翻译。结果表明，GPT模型，特别是使用直接提示的GPT-3.5，在源文本和目标文本之间的语义相似性方面，与人类判断表现出最强的相关性，即使在评估短文本片段时也是如此。此外，该研究表明，上下文窗口的大小对这种相关性有显著影响。
🔬 方法详解
问题定义：论文旨在解决同声传译质量评估中，自动评估指标与人工评估结果相关性低的问题。现有的自动评估方法难以准确衡量同声传译的质量，尤其是在译员采用特定策略导致源语言和目标语言之间线性关系较弱的情况下。这使得传统的基于参考翻译的自动评估指标效果不佳。
核心思路：论文的核心思路是利用句子嵌入和大型语言模型（特别是GPT模型）来量化源文本和翻译文本之间的语义相似性，并将其与人工评估结果进行比较，从而评估自动指标的可靠性。通过直接比较源文本和翻译文本的语义，避免了对参考翻译的依赖，更贴近实际的同声传译评估场景。
技术框架：该研究的技术框架主要包括以下几个步骤：1) 获取同声传译的源文本和目标文本；2) 使用句子嵌入模型和大型语言模型提取源文本和目标文本的语义表示；3) 计算源文本和目标文本语义表示之间的相似度；4) 将计算得到的相似度与人工评估结果进行相关性分析，评估自动指标的可靠性。研究重点考察了不同模型（如GPT-3.5）和不同上下文窗口大小对相关性的影响。
关键创新：该研究的关键创新在于：1) 探索了使用大型语言模型直接评估同声传译质量的可能性，无需依赖参考翻译；2) 关注了上下文窗口大小对评估结果的影响，发现适当的上下文窗口可以提高自动评估与人工评估的相关性；3) 验证了GPT模型在评估短文本片段语义相似性方面的有效性，为同声传译的实时评估提供了可能。
关键设计：研究中使用了不同的句子嵌入模型和大型语言模型，包括GPT-3.5。对于GPT模型，采用了直接提示的方式，即直接输入源文本和目标文本，让模型判断它们的语义相似度。研究还考察了不同大小的上下文窗口对评估结果的影响，通过调整上下文窗口的大小，观察自动评估与人工评估相关性的变化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GPT模型，特别是使用直接提示的GPT-3.5，在评估源文本和目标文本之间的语义相似性方面，与人类判断表现出最强的相关性。即使在评估短文本片段时也是如此。此外，研究还发现上下文窗口的大小对相关性有显著影响，表明适当的上下文信息可以提高自动评估的准确性。
🎯 应用场景
该研究成果可应用于同声传译质量的自动评估，为同声传译服务提供商和用户提供客观的质量反馈。此外，该方法还可以用于训练和优化同声传译模型，提高机器翻译的质量。未来，该研究可以扩展到其他口语翻译场景，例如会议口译和电话口译。
📄 摘要（原文）
Assessing the performance of interpreting services is a complex task, given the nuanced nature of spoken language translation, the strategies that interpreters apply, and the diverse expectations of users. The complexity of this task become even more pronounced when automated evaluation methods are applied. This is particularly true because interpreted texts exhibit less linearity between the source and target languages due to the strategies employed by the interpreter. This study aims to assess the reliability of automatic metrics in evaluating simultaneous interpretations by analyzing their correlation with human evaluations. We focus on a particular feature of interpretation quality, namely translation accuracy or faithfulness. As a benchmark we use human assessments performed by language experts, and evaluate how well sentence embeddings and Large Language Models correlate with them. We quantify semantic similarity between the source and translated texts without relying on a reference translation. The results suggest GPT models, particularly GPT-3.5 with direct prompting, demonstrate the strongest correlation with human judgment in terms of semantic similarity between source and target texts, even when evaluating short textual segments. Additionally, the study reveals that the size of the context window has a notable impact on this correlation.