NeurIPS 2023 LLM Efficiency Fine-tuning Competition

📄 arXiv: 2503.13507v1 📥 PDF

作者: Mark Saroufim, Yotam Perlitz, Leshem Choshen, Luca Antiga, Greg Bowyer, Christian Puhrsch, Driss Guessous, Supriya Rao, Geeta Chauhan, Ashvini Kumar, Jindal Pawan Kumar, Rajpoot Ankur Parikh, Joe Isaacson, Weiwei Yang

分类: cs.CL, cs.AI

发布日期: 2025-03-13

备注: 11 pages, 10 figures

💡 一句话要点

NeurIPS 2023 LLM微调竞赛揭示基准数据集过度拟合问题，强调数据清洗的重要性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 LLM微调 过度拟合 数据清洗 泛化能力 基准测试 开源资源

📋 核心要点

  1. 现有LLM微调在基准测试中存在过度拟合问题，导致模型泛化能力受限，难以应对真实场景。
  2. 通过组织NeurIPS竞赛，鼓励参赛者探索更有效的数据清洗和微调策略，提升模型泛化能力。
  3. 竞赛结果表明，数据清洗是提升LLM性能的关键，同时开源资源促进了LLM微调研究的可重复性。

📝 摘要（中文）

对NeurIPS 2023大型语言模型（LLM）微调竞赛的分析表明，表现最佳的模型在基准数据集上存在显著的过度拟合现象，这反映了在流行的排行榜上普遍存在的基准过度拟合问题，并且表明数据清洗对于获得高性能LLM至关重要。该竞赛分为两个阶段——一个具有公开任务的开放评估阶段和一个具有未见任务的封闭评估阶段——使我们能够评估微调LLM的泛化能力。我们的结果突出了当前基于基准的生成模型评估方案的局限性，并证明了对更稳健的评估方法的需求。值得注意的是，获胜的提交作品利用了标准的开源库，主要侧重于数据清洗。为了促进进一步的研究并提高可重复性，我们发布了所有竞赛条目、Docker文件和评估基础设施，为社区探索LLM中的微调、过度拟合和可重复性提供了宝贵的资源。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在微调过程中，于特定基准数据集上过度拟合的问题。现有方法往往过于关注在特定基准上的表现，而忽略了模型在未见数据上的泛化能力，导致模型在实际应用中表现不佳。

核心思路：论文的核心思路是通过组织一场包含开放和封闭评估阶段的竞赛，来鼓励参赛者探索更有效的数据清洗和微调策略，从而提升LLM的泛化能力。竞赛结果表明，高质量的数据清洗是避免过度拟合、提升模型泛化能力的关键。

技术框架：本次研究的技术框架主要围绕NeurIPS 2023 LLM微调竞赛展开。竞赛分为两个阶段：开放评估阶段和封闭评估阶段。开放评估阶段使用公开可用的数据集，而封闭评估阶段使用未公开的数据集。参赛者提交微调后的LLM模型，竞赛组织者使用统一的评估基础设施对模型进行评估。最终，根据模型在两个阶段的性能表现，评选出获胜者。

关键创新：论文的关键创新在于通过竞赛的形式，揭示了LLM微调中普遍存在的过度拟合问题，并强调了数据清洗的重要性。此外，论文还开源了所有竞赛条目、Docker文件和评估基础设施，为社区提供了宝贵的资源，促进了LLM微调研究的可重复性。

关键设计：竞赛的关键设计在于设置了开放和封闭两个评估阶段。开放评估阶段允许参赛者利用公开数据进行微调，而封闭评估阶段则考察模型在未见数据上的泛化能力。这种设计能够有效地评估模型的泛化能力，并鼓励参赛者探索更有效的数据清洗和微调策略。此外，竞赛还采用了标准的开源库，降低了参赛门槛，吸引了更多研究者参与。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

竞赛结果表明，获胜模型主要依赖于标准开源库和有效的数据清洗策略，而非复杂的模型结构或训练技巧。这突显了数据质量在LLM微调中的重要性。开源的竞赛资源为后续研究提供了基准和参考，有助于推动LLM微调领域的发展。

🎯 应用场景

该研究成果可应用于各种需要LLM微调的场景，例如智能客服、文本生成、机器翻译等。通过更加注重数据清洗和泛化能力，可以提升LLM在实际应用中的性能和可靠性，避免过度拟合带来的问题。此外，开源的竞赛资源也为相关研究提供了便利。

📄 摘要（原文）

Our analysis of the NeurIPS 2023 large language model (LLM) fine-tuning competition revealed the following trend: top-performing models exhibit significant overfitting on benchmark datasets, mirroring the broader issue of benchmark overfitting on popular leaderboards and that data curation is essential in order to get a high performing LLM. The competition, which consisted of two stages - an open evaluation stage with publicly available tasks and a closed evaluation stage with unseen tasks - allowed us to assess the generalizability of fine-tuned LLMs. Our results highlight the limitations of current benchmark-based evaluation schemes for generative models and demonstrate the need for more robust evaluation methods. Notably, the winning submissions utilized standard open-source libraries and focused primarily on data curation. To facilitate further research and promote reproducibility, we release all competition entries, Docker files, and evaluation infrastructure, providing a valuable resource for the community to explore fine-tuning, overfitting, and reproducibility in LLMs.