Skywork: A More Open Bilingual Foundation Model
作者: Tianwen Wei, Liang Zhao, Lichang Zhang, Bo Zhu, Lijie Wang, Haihua Yang, Biye Li, Cheng Cheng, Weiwei Lü, Rui Hu, Chenxia Li, Liu Yang, Xilin Luo, Xuejie Wu, Lunan Liu, Wenjun Cheng, Peng Cheng, Jianhao Zhang, Xiaoyu Zhang, Lei Lin, Xiaokun Wang, Yutuan Ma, Chuanhai Dong, Yanqi Sun, Yifu Chen, Yongyi Peng, Xiaojuan Liang, Shuicheng Yan, Han Fang, Yahui Zhou
分类: cs.CL, cs.AI
发布日期: 2023-10-30
💡 一句话要点
提出Skywork-13B以解决双语模型训练开放性不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 双语模型 大规模语言模型 泄漏检测 自然语言处理 开源资源
📋 核心要点
- 现有双语语言模型在训练开放性和数据质量上存在不足，限制了其应用和研究的广泛性。
- 论文提出了Skywork-13B模型，采用两阶段训练方法，结合通用训练与领域特定增强，提升模型性能。
- 实验结果表明，Skywork-13B在多个基准测试中表现优异，特别是在中文语言建模上实现了最先进的性能。
📝 摘要（中文）
在本技术报告中，我们介绍了Skywork-13B，这是一个大型双语语言模型，基于超过3.2万亿个标记的英语和中文文本进行训练。Skywork-13B是迄今为止训练最广泛、公开发布的同类模型。我们采用了两阶段训练方法，首先进行通用训练，然后进行领域特定的增强训练。我们的模型在流行基准测试中表现优异，并在多领域中文语言建模中实现了最先进的性能。此外，我们提出了一种新颖的泄漏检测方法，表明测试数据污染是一个亟待解决的问题。为了促进未来的研究，我们发布了Skywork-13B及其训练过程中的中间检查点，并公开了部分SkyPile语料库，这是迄今为止最大的高质量中文预训练语料库。我们希望Skywork-13B和我们的开放语料库能作为宝贵的开源资源，促进高质量LLM的普及。
🔬 方法详解
问题定义：本论文旨在解决现有双语语言模型在训练开放性和数据质量方面的不足，尤其是测试数据污染问题。
核心思路：通过引入两阶段训练方法，首先进行通用模型训练，然后针对特定领域进行增强训练，以提高模型的适应性和性能。
技术框架：Skywork-13B的训练流程分为两个主要阶段：第一阶段是使用分段语料进行通用训练，第二阶段则是针对特定领域进行增强训练。模型架构基于大规模的Transformer结构，优化了训练效率和效果。
关键创新：提出了一种新颖的泄漏检测方法，强调了测试数据污染对模型评估的影响，推动了LLM社区对这一问题的关注。
关键设计：在训练过程中，采用了大规模的分段语料库，并设置了适当的超参数和损失函数，以确保模型在多领域的表现达到最优。
🖼️ 关键图片
📊 实验亮点
Skywork-13B在多个流行基准测试中表现优异，尤其是在中文语言建模任务中实现了最先进的性能，具体提升幅度未知。此外，模型的开放性和高质量的训练语料库为未来的研究提供了重要资源。
🎯 应用场景
Skywork-13B模型具有广泛的应用潜力，适用于机器翻译、智能问答、文本生成等多种自然语言处理任务。其开放的语料库和模型检查点将为研究人员和开发者提供便利，推动相关领域的研究与应用发展。
📄 摘要（原文）
In this technical report, we present Skywork-13B, a family of large language models (LLMs) trained on a corpus of over 3.2 trillion tokens drawn from both English and Chinese texts. This bilingual foundation model is the most extensively trained and openly published LLMs of comparable size to date. We introduce a two-stage training methodology using a segmented corpus, targeting general purpose training and then domain-specific enhancement training, respectively. We show that our model not only excels on popular benchmarks, but also achieves \emph{state of the art} performance in Chinese language modeling on diverse domains. Furthermore, we propose a novel leakage detection method, demonstrating that test data contamination is a pressing issue warranting further investigation by the LLM community. To spur future research, we release Skywork-13B along with checkpoints obtained during intermediate stages of the training process. We are also releasing part of our SkyPile corpus, a collection of over 150 billion tokens of web text, which is the largest high quality open Chinese pre-training corpus to date. We hope Skywork-13B and our open corpus will serve as a valuable open-source resource to democratize access to high-quality LLMs.