Finetuning LLMs for Comparative Assessment Tasks

📄 arXiv: 2409.15979v1 📥 PDF

作者: Vatsal Raina, Adian Liusie, Mark Gales

分类: cs.CL

发布日期: 2024-09-24

备注: 8 pages, 5 figures, 6 tables

💡 一句话要点

微调LLM用于比较评估任务，提升效率与性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 比较评估 自然语言生成 微调 自动评估

📋 核心要点

  1. 现有基于LLM的比较评估方法面临二次计算复杂度问题，限制了其在大规模场景下的应用。
  2. 论文提出微调LLM以直接预测比较概率，从而优化模型输出与目标分布的对齐。
  3. 实验表明，该方法在提升性能的同时，能够保持高效子集比较的高性能。

📝 摘要（中文）

自然语言生成中的自动评估是一项具有挑战性的任务。指令微调的大型语言模型（LLM）在无参考评估中展现出潜力，尤其是在比较评估方面。然而，成对比较的二次计算复杂度限制了其可扩展性。为了解决这个问题，研究人员探索了通过在零样本LLM概率上应用比较策略来实现高效的比较评估。我们提出了一个微调LLM用于比较评估的框架，以使模型的输出与比较概率的目标分布对齐。通过在软概率上进行训练，我们的方法在保持高效子集比较的高性能的同时，提高了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决自然语言生成任务中，利用大型语言模型进行自动评估时，成对比较带来的计算复杂度过高的问题。现有的方法，如直接使用零样本LLM的概率进行比较，虽然避免了二次复杂度，但性能往往不如直接进行成对比较。

核心思路：论文的核心思路是通过微调LLM，使其能够直接预测比较概率，而不是依赖于零样本概率或成对比较。通过训练模型来拟合比较概率的目标分布，可以提高评估的准确性和效率。

技术框架：该框架主要包含以下几个步骤：首先，构建一个包含多个生成结果及其对应比较概率的数据集。然后，使用该数据集对预训练的LLM进行微调，目标是使模型的输出与数据集中的比较概率尽可能接近。最后，使用微调后的模型进行比较评估，并与其他方法进行比较。

关键创新：该论文的关键创新在于提出了一个微调LLM用于比较评估的框架，通过直接训练模型预测比较概率，避免了传统成对比较的二次计算复杂度，并且提高了评估的准确性。与现有方法相比，该方法能够更好地利用LLM的知识，并将其与比较评估任务对齐。

关键设计：论文的关键设计包括：使用软概率作为训练目标，以更好地拟合比较概率的分布；设计合适的损失函数，例如交叉熵损失或KL散度，来衡量模型输出与目标分布之间的差异；选择合适的预训练LLM作为基础模型，并进行适当的超参数调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文提出的微调框架在比较评估任务上取得了显著的性能提升，超越了现有的零样本方法。通过在软概率上进行训练，该方法能够更好地拟合比较概率的分布，从而提高评估的准确性。同时，该方法能够保持高效子集比较的高性能，进一步提升了评估的效率。

🎯 应用场景

该研究成果可应用于各种自然语言生成任务的自动评估，例如机器翻译、文本摘要、对话生成等。通过提高评估的效率和准确性，可以加速模型开发和迭代过程，并为用户提供更好的生成结果。此外，该方法还可以用于评估不同模型的生成质量，从而选择最佳模型。

📄 摘要（原文）

Automated assessment in natural language generation is a challenging task. Instruction-tuned large language models (LLMs) have shown promise in reference-free evaluation, particularly through comparative assessment. However, the quadratic computational complexity of pairwise comparisons limits its scalability. To address this, efficient comparative assessment has been explored by applying comparative strategies on zero-shot LLM probabilities. We propose a framework for finetuning LLMs for comparative assessment to align the model's output with the target distribution of comparative probabilities. By training on soft probabilities, our approach improves state-of-the-art performance while maintaining high performance with an efficient subset of comparisons.