CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution

📄 arXiv: 2410.16256v1 📥 PDF

作者: Maosong Cao, Alexander Lam, Haodong Duan, Hongwei Liu, Songyang Zhang, Kai Chen

分类: cs.CL, cs.AI

发布日期: 2024-10-21

备注: Technical Report, Code and Models: https://github.com/open-compass/CompassJudger

🔗 代码/项目: GITHUB

💡 一句话要点

提出CompassJudger-1：首个开源一体化评判LLM，用于模型评估与演进。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型评估 自动化评估 主观评估 开源工具 评判模型 基准测试 奖励模型

📋 核心要点

  1. 大型语言模型持续改进的关键在于高效且准确的评估，而主观评估因其与真实世界使用场景和人类偏好的高度一致性而备受关注。
  2. CompassJudger-1旨在提供一个多功能的解决方案，它既可以进行单一评分和模型对比，也能根据特定格式评估并生成评论，同时还能执行通用LLM的任务。
  3. 论文提出了JudgerBench基准，用于在统一框架下评估不同评判模型的性能，涵盖了多样的主观评估任务和主题。

📝 摘要（中文）

本文介绍CompassJudger-1，首个开源的一体化评判大型语言模型（LLM）。CompassJudger-1是一个通用LLM，展示了卓越的多功能性。它能够：1. 作为奖励模型执行单一评分和双模型比较；2. 根据指定格式进行评估；3. 生成评论；4. 像通用LLM一样执行各种任务。为了在统一设置下评估不同评判模型的评估能力，我们还建立了JudgerBench，一个新的基准，包含各种主观评估任务，涵盖广泛的主题。CompassJudger-1为各种评估任务提供了一个全面的解决方案，同时保持了适应不同需求的灵活性。CompassJudger和JudgerBench均已开源，供研究社区使用。我们相信，通过开源这些工具，我们可以促进合作，加速LLM评估方法的进步。

🔬 方法详解

问题定义：现有大型语言模型（LLM）的评估方法，尤其是主观评估，虽然更贴近人类偏好，但依赖人工评估成本高昂且缺乏可重复性。因此，需要精确的自动化评估器（judger）来解决这一问题。

核心思路：论文的核心思路是构建一个“一体化”的评判LLM，即CompassJudger-1，使其能够执行多种评估任务，包括评分、模型比较、生成评论等，从而降低评估成本并提高效率。这种设计旨在提供一个灵活且全面的评估解决方案。

技术框架：CompassJudger-1作为一个通用的LLM，其技术框架并未在摘要中详细描述。但可以推断，它可能基于现有的LLM架构，并针对评估任务进行了优化。JudgerBench则作为一个评估基准，提供了一系列主观评估任务，用于评估不同评判模型的性能。

关键创新：CompassJudger-1的关键创新在于其“一体化”的设计，即它能够执行多种评估任务，而不仅仅是单一的评分或比较。此外，开源的特性也促进了社区的合作和发展。JudgerBench的提出，则为评判模型的评估提供了一个统一的基准。

关键设计：摘要中没有提供关于CompassJudger-1具体参数设置、损失函数或网络结构的细节。这些细节可能在完整的论文中有所描述。JudgerBench的关键设计在于其包含的各种主观评估任务，以及涵盖的广泛主题，旨在全面评估评判模型的性能。

🖼️ 关键图片

fig_0

📊 实验亮点

论文提出了CompassJudger-1，首个开源一体化评判LLM，并构建了JudgerBench基准，用于在统一框架下评估不同评判模型的性能。具体性能数据和对比基线未在摘要中体现，需要在完整论文中查找。

🎯 应用场景

CompassJudger-1及其配套的JudgerBench基准，可广泛应用于大型语言模型的开发、评估和持续改进过程中。它可以帮助研究人员和开发者更高效地评估模型的性能，发现模型的不足，并指导模型的训练和优化。此外，该工具的开源特性，也有助于促进LLM评估领域的合作和发展。

📄 摘要（原文）

Efficient and accurate evaluation is crucial for the continuous improvement of large language models (LLMs). Among various assessment methods, subjective evaluation has garnered significant attention due to its superior alignment with real-world usage scenarios and human preferences. However, human-based evaluations are costly and lack reproducibility, making precise automated evaluators (judgers) vital in this process. In this report, we introduce \textbf{CompassJudger-1}, the first open-source \textbf{all-in-one} judge LLM. CompassJudger-1 is a general-purpose LLM that demonstrates remarkable versatility. It is capable of: 1. Performing unitary scoring and two-model comparisons as a reward model; 2. Conducting evaluations according to specified formats; 3. Generating critiques; 4. Executing diverse tasks like a general LLM. To assess the evaluation capabilities of different judge models under a unified setting, we have also established \textbf{JudgerBench}, a new benchmark that encompasses various subjective evaluation tasks and covers a wide range of topics. CompassJudger-1 offers a comprehensive solution for various evaluation tasks while maintaining the flexibility to adapt to diverse requirements. Both CompassJudger and JudgerBench are released and available to the research community athttps://github.com/open-compass/CompassJudger. We believe that by open-sourcing these tools, we can foster collaboration and accelerate progress in LLM evaluation methodologies.