On the Workflows and Smells of Leaderboard Operations (LBOps): An Exploratory Study of Foundation Model Leaderboards
作者: Zhimin Zhao, Abdul Ali Bangash, Filipe Roseiro Côgo, Bram Adams, Ahmed E. Hassan
分类: cs.SE, cs.LG
发布日期: 2024-07-04 (更新: 2025-01-29)
备注: Awesome Foundation Model Leaderboard List: https://github.com/SAILResearch/awesome-foundation-model-leaderboards; Foundation Model Leaderboard Search Toolkit: https://huggingface.co/spaces/zhiminy/awesome-foundation-model-leaderboard-search
💡 一句话要点
探索性研究：剖析大模型排行榜的运作流程与潜在问题（Leaderboard Smells）
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基础模型 排行榜 软件工程 透明度 评估标准
📋 核心要点
- 现有基础模型排行榜缺乏标准化评估指南，导致透明度不足，影响软件工程团队有效选择合适的模型。
- 本研究通过收集大量排行榜数据，分析其运作流程，识别潜在问题（Leaderboard Smells），并构建领域模型。
- 研究识别了五种工作流程模式和八种排行榜异味，旨在提升排行榜的透明度、责任性和协作性。
📝 摘要（中文）
大型语言模型等基础模型（FM）在代码补全、代码理解和软件开发等软件工程（SE）任务中表现出卓越的适应性。FM排行榜已成为SE团队比较和选择第三方FM的关键工具。然而，FM评估和比较缺乏标准化指南，威胁着FM排行榜的透明度，并限制了利益相关者有效选择FM的能力。本研究旨在理解FM排行榜在实际场景中的运作方式（“排行榜操作”）并识别潜在缺陷和改进领域（“排行榜异味”）。为此，我们从GitHub、Hugging Face Spaces、Papers With Code等五个来源收集了1045个FM排行榜，检查其文档，并与排行榜运营者直接沟通以了解其工作流程。通过卡片分类和协商一致，我们识别了五种不同的工作流程模式，并开发了一个领域模型，捕捉这些工作流程中的关键组件及其交互。我们还识别了LBOps中八种独特的排行榜异味。通过减轻这些异味，SE团队可以提高当前LBOps实践的透明度、责任性和协作性，从而为FM比较和选择创建一个更强大和负责任的生态系统。
🔬 方法详解
问题定义：当前大型语言模型（LLM）等基础模型（FM）的排行榜缺乏统一的评估标准和流程，导致排行榜的透明度不足，难以帮助软件工程团队有效选择合适的模型。现有方法主要依赖于各个排行榜运营者的主观判断和非标准化的评估方式，存在信息不对称和潜在的偏差。
核心思路：本研究的核心思路是通过对现有FM排行榜进行全面的调研和分析，理解其运作流程，识别其中存在的潜在问题（Leaderboard Smells），并构建一个领域模型来描述这些流程和问题。通过揭示这些问题，为改进排行榜的运作方式提供指导。
技术框架：研究的技术框架主要包括以下几个阶段：1) 数据收集：从GitHub、Hugging Face Spaces、Papers With Code等多个来源收集FM排行榜数据。2) 工作流程分析：通过分析排行榜的文档和与运营者的沟通，识别不同的工作流程模式。3) 领域模型构建：构建一个领域模型，描述排行榜运作的关键组件及其交互。4) Leaderboard Smells识别：通过卡片分类和协商一致，识别排行榜中存在的潜在问题（Leaderboard Smells）。
关键创新：本研究的关键创新在于首次系统性地研究了FM排行榜的运作流程和潜在问题，并提出了Leaderboard Smells的概念。通过识别这些Smells，为改进排行榜的运作方式提供了具体的指导。
关键设计：研究的关键设计包括：1) 多来源数据收集，确保数据的全面性和代表性。2) 结合文档分析和运营者沟通，深入理解排行榜的运作流程。3) 使用卡片分类和协商一致等方法，确保Leaderboard Smells识别的客观性和准确性。4) 构建领域模型，为理解和改进排行榜运作提供一个统一的框架。
🖼️ 关键图片
📊 实验亮点
研究收集了1045个FM排行榜，识别了五种不同的工作流程模式和八种独特的Leaderboard Smells。这些Smells包括但不限于：缺乏明确的评估指标、数据来源不透明、评估流程不公开等。通过减轻这些Smells，可以显著提高排行榜的可靠性和可用性，帮助用户做出更明智的选择。
🎯 应用场景
该研究成果可应用于改进现有基础模型排行榜的构建和维护，提升其透明度、责任性和协作性。软件工程团队可以利用该研究识别的Leaderboard Smells，评估和选择更可靠的FM排行榜，从而为特定任务选择更合适的模型。未来，该研究可以扩展到其他类型的机器学习模型排行榜，促进更公平和透明的模型评估。
📄 摘要（原文）
Foundation models (FM), such as large language models (LLMs), which are large-scale machine learning (ML) models, have demonstrated remarkable adaptability in various downstream software engineering (SE) tasks, such as code completion, code understanding, and software development. As a result, FM leaderboards have become essential tools for SE teams to compare and select the best third-party FMs for their specific products and purposes. However, the lack of standardized guidelines for FM evaluation and comparison threatens the transparency of FM leaderboards and limits stakeholders' ability to perform effective FM selection. As a first step towards addressing this challenge, our research focuses on understanding how these FM leaderboards operate in real-world scenarios ("leaderboard operations") and identifying potential pitfalls and areas for improvement ("leaderboard smells"). In this regard, we collect up to 1,045 FM leaderboards from five different sources: GitHub, Hugging Face Spaces, Papers With Code, spreadsheet and independent platform, to examine their documentation and engage in direct communication with leaderboard operators to understand their workflows. Through card sorting and negotiated agreement, we identify five distinct workflow patterns and develop a domain model that captures the key components and their interactions within these workflows. We then identify eight unique types of leaderboard smells in LBOps. By mitigating these smells, SE teams can improve transparency, accountability, and collaboration in current LBOps practices, fostering a more robust and responsible ecosystem for FM comparison and selection.