Towards Large Language Model driven Reference-less Translation Evaluation for English and Indian Languages

📄 arXiv: 2404.02512v1 📥 PDF

作者: Vandan Mujadia, Pruthwik Mishra, Arafat Ahsan, Dipti Misra Sharma

分类: cs.CL

发布日期: 2024-04-03

备注: arXiv admin note: text overlap with arXiv:2311.09216

💡 一句话要点

提出基于大语言模型的无参考翻译评估方法以解决翻译质量评估问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无参考翻译评估 大语言模型 机器翻译 翻译质量评估 零样本学习 微调技术 印度语言

📋 核心要点

  1. 现有的翻译评估方法通常依赖于参考翻译，难以适应无参考情况下的评估需求。
  2. 本研究提出了一种基于大语言模型的无参考翻译评估方法，通过模拟人类评估者的评分机制来提高评估的准确性。
  3. 实验结果表明，LLaMA-2-13B模型在与人类判断的相关性上表现优异，尤其是在印度语言对的评估中取得了显著提升。

📝 摘要（中文）

本研究主要聚焦于评估大语言模型在自动无参考翻译评估中的有效性，展示了我们在模拟人类直接评估翻译质量方面的实验。我们构建了一个翻译评估任务，采用零样本学习、上下文示例驱动学习和大语言模型的微调，给出0到100的评分，其中100表示完美翻译，1表示差翻译。我们将训练系统的表现与现有方法如COMET、BERT-Scorer和LABSE进行了比较，发现基于LLM的评估器（LLaMA-2-13B）在考虑的印度语言对中，与人类判断的整体相关性相当或更高。

🔬 方法详解

问题定义：本论文旨在解决无参考翻译评估中的有效性问题，现有方法通常依赖于参考翻译，限制了其应用场景，尤其是在缺乏高质量参考翻译的情况下。

核心思路：论文提出通过大语言模型模拟人类评估者的评分机制，采用零样本学习和微调技术，使模型能够在没有参考翻译的情况下进行有效评估。

技术框架：整体架构包括三个主要模块：零样本学习模块、上下文示例驱动学习模块和微调模块。首先，模型在无监督条件下进行训练，然后通过示例学习进一步提升性能，最后进行微调以适应特定语言对的评估。

关键创新：最重要的技术创新在于使用大语言模型进行无参考翻译评估，突破了传统方法对参考翻译的依赖，提供了一种新的评估视角。

关键设计：在模型训练中，采用了特定的损失函数以优化评分的准确性，并对模型的超参数进行了细致调优，以确保在不同语言对上的适应性和表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，LLaMA-2-13B模型在与人类评估者的相关性上达到了显著的提升，尤其是在印度语言对的评估中，其整体相关性与现有方法相比表现更佳，具体提升幅度未知，表明该方法在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器翻译系统的自动评估、翻译质量监控以及多语言翻译服务的优化。通过无参考评估方法，可以在缺乏高质量参考翻译的情况下，快速评估翻译质量，从而提升翻译系统的实用性和可靠性。未来，该方法有望在多语言环境中广泛应用，推动翻译技术的发展。

📄 摘要（原文）

With the primary focus on evaluating the effectiveness of large language models for automatic reference-less translation assessment, this work presents our experiments on mimicking human direct assessment to evaluate the quality of translations in English and Indian languages. We constructed a translation evaluation task where we performed zero-shot learning, in-context example-driven learning, and fine-tuning of large language models to provide a score out of 100, where 100 represents a perfect translation and 1 represents a poor translation. We compared the performance of our trained systems with existing methods such as COMET, BERT-Scorer, and LABSE, and found that the LLM-based evaluator (LLaMA-2-13B) achieves a comparable or higher overall correlation with human judgments for the considered Indian language pairs.