Prometheus: Inducing Fine-grained Evaluation Capability in Language Models
作者: Seungone Kim, Jamin Shin, Yejin Cho, Joel Jang, Shayne Longpre, Hwaran Lee, Sangdoo Yun, Seongjin Shin, Sungdong Kim, James Thorne, Minjoon Seo
分类: cs.CL, cs.LG
发布日期: 2023-10-12 (更新: 2024-03-09)
备注: ICLR 2024
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出Prometheus以解决大规模评估任务中的评估不可靠问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 开源模型 长文本评估 自定义评分标准 数据集构建 评估可靠性
📋 核心要点
- 现有方法依赖于专有LLM进行评估，存在封闭性和高成本等问题，影响大规模评估的可靠性。
- 本文提出Prometheus，一个开源的评估LLM，能够根据用户提供的自定义评分标准进行长文本评估。
- 实验结果显示，Prometheus在多个基准测试中与人类评估者的相关性高达0.897，显著优于其他开源模型。
📝 摘要（中文）
近年来，使用强大的专有大型语言模型（LLM）作为长文本响应的评估工具已成为标准。然而，对于需要大规模评估和自定义标准的实践者而言，专有LLM因其封闭源代码、版本控制不当和高昂成本而不可靠。本文提出了Prometheus，一个完全开源的LLM，其评估能力与GPT-4相当，前提是提供适当的参考材料。我们构建了Feedback Collection数据集，包含1000个细粒度评分标准、20000个指令和100000个由GPT-4生成的响应与语言反馈。实验结果表明，Prometheus在45个自定义评分标准下与人类评估者的Pearson相关系数为0.897，表现优于ChatGPT（0.392），并在两个基准测试中达到了最高准确率，展示了其作为通用奖励模型的潜力。
🔬 方法详解
问题定义：本文旨在解决使用专有大型语言模型进行长文本评估时的可靠性和成本问题。现有方法在大规模评估任务中面临封闭源代码和版本控制不当的挑战。
核心思路：Prometheus通过构建一个开源的评估模型，结合Feedback Collection数据集，能够根据用户的自定义评分标准进行有效评估。这样的设计使得评估过程更加透明和可控。
技术框架：Prometheus的整体架构包括数据集构建、模型训练和评估三个主要模块。首先，构建Feedback Collection数据集，接着使用该数据集训练13B参数的评估模型，最后进行评估与验证。
关键创新：Prometheus的主要创新在于其完全开源的特性和与GPT-4相当的评估能力，尤其是在使用自定义评分标准时。与现有方法相比，Prometheus提供了更高的灵活性和可定制性。
关键设计：在模型训练中，使用了细粒度评分标准和大量的指令与反馈数据，确保模型能够适应多样化的评估需求。损失函数和网络结构经过精心设计，以优化评估性能。具体参数设置和训练细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
Prometheus在与人类评估者的相关性测试中，达到了0.897的Pearson相关系数，超越了GPT-4（0.882）和ChatGPT（0.392）。在多个基准测试中，Prometheus表现出色，尤其在HHH Alignment和MT Bench Human Judgment中取得了最高准确率，显示出其作为通用奖励模型的潜力。
🎯 应用场景
Prometheus的潜在应用场景包括教育评估、内容生成质量控制和用户反馈分析等领域。其开源特性使得研究人员和开发者能够根据特定需求进行定制，推动评估技术的进一步发展。未来，Prometheus有望成为各种评估任务中的标准工具，提升评估的效率和准确性。
📄 摘要（原文）
Recently, using a powerful proprietary Large Language Model (LLM) (e.g., GPT-4) as an evaluator for long-form responses has become the de facto standard. However, for practitioners with large-scale evaluation tasks and custom criteria in consideration (e.g., child-readability), using proprietary LLMs as an evaluator is unreliable due to the closed-source nature, uncontrolled versioning, and prohibitive costs. In this work, we propose Prometheus, a fully open-source LLM that is on par with GPT-4's evaluation capabilities when the appropriate reference materials (reference answer, score rubric) are accompanied. We first construct the Feedback Collection, a new dataset that consists of 1K fine-grained score rubrics, 20K instructions, and 100K responses and language feedback generated by GPT-4. Using the Feedback Collection, we train Prometheus, a 13B evaluator LLM that can assess any given long-form text based on customized score rubric provided by the user. Experimental results show that Prometheus scores a Pearson correlation of 0.897 with human evaluators when evaluating with 45 customized score rubrics, which is on par with GPT-4 (0.882), and greatly outperforms ChatGPT (0.392). Furthermore, measuring correlation with GPT-4 with 1222 customized score rubrics across four benchmarks (MT Bench, Vicuna Bench, Feedback Bench, Flask Eval) shows similar trends, bolstering Prometheus's capability as an evaluator LLM. Lastly, Prometheus achieves the highest accuracy on two human preference benchmarks (HHH Alignment & MT Bench Human Judgment) compared to open-sourced reward models explicitly trained on human preference datasets, highlighting its potential as an universal reward model. We open-source our code, dataset, and model at https://kaistai.github.io/prometheus/.