AlchemistCoder: Harmonizing and Eliciting Code Capability by Hindsight Tuning on Multi-source Data

📄 arXiv: 2405.19265v1 📥 PDF

作者: Zifan Song, Yudong Wang, Wenwei Zhang, Kuikun Liu, Chengqi Lyu, Demin Song, Qipeng Guo, Hang Yan, Dahua Lin, Kai Chen, Cairong Zhao

分类: cs.CL

发布日期: 2024-05-29

备注: Preprint with 20 pages and 20 figures. Source code and models at https://github.com/InternLM/AlchemistCoder

💡 一句话要点

AlchemistCoder：通过多源数据上的后见之明调优，和谐并激发代码能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码生成 大型语言模型 多源数据 后见之明学习 指令微调 代码理解 AlchemistCoder

📋 核心要点

  1. 现有代码LLM通常在单一来源且质量参差的数据上微调，未能充分发挥预训练模型的潜力。
  2. AlchemistCoder通过引入数据特定提示和后见之明重标记，和谐多源数据，提升代码生成和泛化能力。
  3. 实验表明，AlchemistCoder在同等规模模型中领先，甚至能与更大规模的模型竞争，验证了方法的有效性。

📝 摘要（中文）

开源大型语言模型（LLMs）及其专门变体，特别是代码LLMs，最近表现出了令人印象深刻的性能。然而，先前的代码LLMs通常在质量和多样性有限的单源数据上进行微调，这可能无法充分激发预训练代码LLMs的潜力。本文提出了AlchemistCoder，一系列在多源数据上微调的、具有增强的代码生成和泛化能力的代码LLMs。为了实现这一目标，我们率先揭示了多源代码语料库中各种风格和质量之间固有的冲突，并引入了具有后见之明重新标记的特定于数据的提示，称为AlchemistPrompts，以协调不同的数据源和指令-响应对。此外，我们建议将数据构建过程作为代码理解任务纳入微调数据中，包括指令演化、数据过滤和代码审查。大量实验表明，AlchemistCoder在所有相同大小的模型（6.7B/7B）中保持明显的领先地位，甚至可以与更大的模型（15B/33B/70B）相媲美或超越，展示了我们的方法在改进指令遵循能力和推进代码智能边界方面的有效性。

🔬 方法详解

问题定义：现有代码大语言模型通常在单一来源的数据集上进行微调，这些数据集的质量和多样性有限，导致模型无法充分发挥其在代码生成和理解方面的潜力。不同来源的代码数据风格迥异，质量也参差不齐，直接混合使用会导致训练不稳定，影响模型性能。因此，如何有效地利用多源数据来提升代码大模型的性能是一个关键问题。

核心思路：AlchemistCoder的核心思路是通过引入一种名为AlchemistPrompts的提示方法，结合后见之明重标记技术，来协调不同来源的数据，并将其转化为统一的格式。此外，还将数据构建过程本身作为代码理解任务纳入训练数据中，从而增强模型对数据生成过程的理解。

技术框架：AlchemistCoder的训练流程主要包括以下几个阶段：1) 数据收集：从多个来源收集代码数据，包括代码生成、代码修复、代码翻译等任务的数据。2) AlchemistPrompts生成：为每个数据源设计特定的提示，并使用后见之明重标记技术，将原始数据转换为统一的指令-响应格式。3) 数据增强：将数据构建过程（如指令演化、数据过滤、代码审查）作为代码理解任务添加到训练数据中。4) 模型微调：使用转换后的数据对预训练的代码大语言模型进行微调。

关键创新：AlchemistCoder的关键创新在于：1) 提出了AlchemistPrompts，一种能够协调多源数据的提示方法，解决了不同数据源之间风格和质量差异的问题。2) 将数据构建过程纳入训练数据中，增强了模型对数据生成过程的理解。3) 通过后见之明重标记技术，将不同任务的数据转换为统一的指令-响应格式，简化了训练流程。

关键设计：AlchemistPrompts的设计需要根据不同数据源的特点进行调整，以确保能够有效地引导模型生成高质量的代码。后见之明重标记技术需要仔细设计重标记规则，以确保重标记后的数据仍然具有语义一致性。数据增强过程需要选择合适的代码理解任务，以增强模型对数据生成过程的理解。具体的参数设置和损失函数选择取决于具体的模型和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AlchemistCoder在HumanEval和MBPP等代码生成基准测试中取得了显著的性能提升。在相同规模的模型中，AlchemistCoder明显优于其他模型，甚至可以与规模更大的模型相媲美或超越。例如，AlchemistCoder在HumanEval上的pass@1指标达到了X%，相比于基线模型提升了Y%。这些结果充分证明了AlchemistCoder方法的有效性。

🎯 应用场景

AlchemistCoder具有广泛的应用前景，可用于代码自动生成、代码补全、代码修复、代码翻译等领域。它可以帮助开发者提高开发效率，降低开发成本，并生成更高质量的代码。此外，AlchemistCoder还可以应用于教育领域，帮助学生学习编程，提高编程能力。未来，AlchemistCoder有望成为软件开发领域的重要工具。

📄 摘要（原文）

Open-source Large Language Models (LLMs) and their specialized variants, particularly Code LLMs, have recently delivered impressive performance. However, previous Code LLMs are typically fine-tuned on single-source data with limited quality and diversity, which may insufficiently elicit the potential of pre-trained Code LLMs. In this paper, we present AlchemistCoder, a series of Code LLMs with enhanced code generation and generalization capabilities fine-tuned on multi-source data. To achieve this, we pioneer to unveil inherent conflicts among the various styles and qualities in multi-source code corpora and introduce data-specific prompts with hindsight relabeling, termed AlchemistPrompts, to harmonize different data sources and instruction-response pairs. Additionally, we propose incorporating the data construction process into the fine-tuning data as code comprehension tasks, including instruction evolution, data filtering, and code review. Extensive experiments demonstrate that AlchemistCoder holds a clear lead among all models of the same size (6.7B/7B) and rivals or even surpasses larger models (15B/33B/70B), showcasing the efficacy of our method in refining instruction-following capabilities and advancing the boundaries of code intelligence.