SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling

📄 arXiv: 2312.15166v3 📥 PDF

作者: Dahyun Kim, Chanjun Park, Sanghoon Kim, Wonsung Lee, Wonho Song, Yunsu Kim, Hyeonwoo Kim, Yungi Kim, Hyeonju Lee, Jihoo Kim, Changbae Ahn, Seonghoon Yang, Sukyung Lee, Hyunbyung Park, Gyoungjin Gim, Mikyoung Cha, Hwalsuk Lee, Sunghun Kim

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-12-23 (更新: 2024-04-04)

备注: accepted to NAACL 2024 Industry Track

💡 一句话要点

提出深度向上扩展(DUS)方法，高效扩展LLM性能，并开源了SOLAR 10.7B模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 深度向上扩展 持续预训练 指令遵循 自然语言处理

📋 核心要点

  1. 现有LLM扩展方法，如混合专家模型，实现复杂，训练和推理成本高昂，限制了其广泛应用。
  2. 论文提出深度向上扩展（DUS）方法，通过深度方向扩展和持续预训练，简化LLM的扩展过程。
  3. 实验结果表明，DUS方法能够有效提升LLM性能，SOLAR 10.7B-Instruct超越了Mixtral-8x7B-Instruct。

📝 摘要（中文）

本文介绍了SOLAR 10.7B，一个拥有107亿参数的大型语言模型（LLM），它在各种自然语言处理（NLP）任务中表现出卓越的性能。受到近期高效扩展LLM的启发，我们提出了一种名为深度向上扩展（DUS）的LLM扩展方法，该方法包括深度方向的扩展和持续预训练。与其他使用混合专家模型的LLM扩展方法不同，DUS不需要复杂的更改即可高效地进行训练和推理。实验表明，DUS在从小模型扩展高性能LLM方面简单而有效。基于DUS模型，我们还提出了SOLAR 10.7B-Instruct，一个针对指令遵循能力进行微调的变体，其性能超越了Mixtral-8x7B-Instruct。SOLAR 10.7B在Apache 2.0许可下公开发布，促进了LLM领域的广泛访问和应用。

🔬 方法详解

问题定义：现有的大型语言模型扩展方法，例如混合专家模型（Mixture-of-Experts, MoE），虽然能够提升模型性能，但通常需要对模型架构进行复杂的修改，导致训练和推理过程变得更加复杂和昂贵。这限制了这些方法在资源有限的环境中的应用，并且增加了模型部署的难度。

核心思路：论文的核心思路是通过一种简单而有效的方法来扩展LLM的深度，从而提升模型性能。这种方法被称为深度向上扩展（Depth Up-Scaling, DUS），它主要包括两个步骤：首先，在深度方向上扩展模型；然后，通过持续的预训练来优化扩展后的模型。DUS的设计目标是在不引入复杂架构修改的前提下，实现LLM性能的提升。

技术框架：DUS的技术框架主要包含两个阶段：深度方向扩展和持续预训练。在深度方向扩展阶段，通过增加Transformer层的数量来扩展模型的深度。在持续预训练阶段，使用额外的训练数据来进一步优化扩展后的模型，使其更好地适应各种NLP任务。整个过程无需引入额外的复杂模块或结构。

关键创新：DUS的关键创新在于其简单性和有效性。与需要复杂架构修改的MoE方法不同，DUS仅通过增加模型深度和持续预训练来实现性能提升。这种方法降低了训练和推理的复杂性，使得LLM的扩展更加容易实现。

关键设计：DUS的关键设计包括选择合适的深度扩展比例和持续预训练的数据集。论文中可能探讨了不同的深度扩展比例对模型性能的影响，以及如何选择合适的预训练数据集来优化模型。此外，可能还涉及学习率、batch size等超参数的调整，以确保训练过程的稳定性和收敛性。

📊 实验亮点

SOLAR 10.7B在多个NLP任务中表现出卓越的性能，尤其是在指令遵循方面，SOLAR 10.7B-Instruct超越了Mixtral-8x7B-Instruct。此外，该模型以Apache 2.0开源协议发布，为研究人员和开发者提供了便利，促进了LLM领域的开放研究和应用。

🎯 应用场景

SOLAR 10.7B及其DUS方法可广泛应用于自然语言处理领域，例如文本生成、机器翻译、问答系统等。该模型易于部署和使用，降低了LLM的应用门槛，促进了其在各行业的应用，例如智能客服、内容创作、教育等。未来，该方法可以进一步扩展到其他模态，例如图像和语音，实现多模态LLM的扩展。

📄 摘要（原文）

We introduce SOLAR 10.7B, a large language model (LLM) with 10.7 billion parameters, demonstrating superior performance in various natural language processing (NLP) tasks. Inspired by recent efforts to efficiently up-scale LLMs, we present a method for scaling LLMs called depth up-scaling (DUS), which encompasses depthwise scaling and continued pretraining. In contrast to other LLM up-scaling methods that use mixture-of-experts, DUS does not require complex changes to train and inference efficiently. We show experimentally that DUS is simple yet effective in scaling up high-performance LLMs from small ones. Building on the DUS model, we additionally present SOLAR 10.7B-Instruct, a variant fine-tuned for instruction-following capabilities, surpassing Mixtral-8x7B-Instruct. SOLAR 10.7B is publicly available under the Apache 2.0 license, promoting broad access and application in the LLM field.