NorwAI's Large Language Models: Technical Report

📄 arXiv: 2601.03034v1 📥 PDF

作者: Jon Atle Gulla, Peng Liu, Lemei Zhang

分类: cs.CL

发布日期: 2026-01-06

💡 一句话要点

NorwAI发布挪威语大型语言模型，提升斯堪的纳维亚语种NLP能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 挪威语 自然语言处理 Transformer 预训练 指令调优 斯堪的纳维亚语

📋 核心要点

  1. 现有NLP技术对挪威语等小语种支持不足，限制了其应用和发展。
  2. NorwAI构建了一系列基于Transformer架构的挪威语和斯堪的纳维亚语大型语言模型。
  3. 模型通过预训练和指令调优，在助手式任务中表现出色，具备实际部署潜力。

📝 摘要（中文）

为了弥补挪威语（约五百万人使用）在自然语言处理(NLP)领域重大突破中的代表性不足，NorwAI的NorLLM团队开发了一系列专门为挪威语和其他斯堪的纳维亚语言量身定制的模型。这些模型基于多种Transformer架构，如GPT、Mistral、Llama2、Mixtral和Magistral。它们或者从头开始预训练，或者在25B到88.45B的tokens上进行持续预训练，使用挪威语扩展的分词器和先进的后训练策略来优化性能，增强鲁棒性，并提高在各种实际任务中的适应性。值得注意的是，指令调优的变体（例如，Mistral-7B-Instruct和Mixtral-8x7B-Instruct）展示了强大的助手式能力，突显了它们在交互式和特定领域应用中实际部署的潜力。NorwAI大型语言模型向北欧的组织、公司和学生开放，用于研究和实验用途。本报告详细记录了模型架构、训练数据、分词器设计、微调策略、部署和评估。

🔬 方法详解

问题定义：现有的大型语言模型在很大程度上忽略了挪威语等小语种，导致这些语言在NLP领域的应用受限。现有的模型在处理挪威语时，性能往往不如处理英语等主流语言，这主要是由于训练数据不足和模型架构的偏向性。因此，需要专门为挪威语设计和训练大型语言模型，以提升其在各种NLP任务中的性能。

核心思路：该论文的核心思路是构建专门针对挪威语和斯堪的纳维亚语的大型语言模型，通过大规模的预训练和指令调优，使模型能够更好地理解和生成挪威语文本。通过使用挪威语扩展的分词器，并结合先进的后训练策略，优化模型性能，增强鲁棒性，并提高在各种实际任务中的适应性。

技术框架：该研究构建了一系列基于Transformer架构的大型语言模型，包括GPT、Mistral、Llama2、Mixtral和Magistral等。这些模型或者从头开始预训练，或者在25B到88.45B的tokens上进行持续预训练。训练流程包括数据收集与清洗、分词器构建、预训练、指令调优和评估等阶段。指令调优阶段使用了Mistral-7B-Instruct和Mixtral-8x7B-Instruct等模型，以提升模型在助手式任务中的表现。

关键创新：该研究的关键创新在于构建了专门针对挪威语和斯堪的纳维亚语的大型语言模型，并使用了挪威语扩展的分词器。通过大规模的预训练和指令调优，模型在挪威语NLP任务中取得了显著的性能提升。此外，该研究还采用了先进的后训练策略，优化模型性能，增强鲁棒性，并提高在各种实际任务中的适应性。

关键设计：模型使用了挪威语扩展的分词器，以更好地处理挪威语文本。训练数据包括25B到88.45B的tokens。指令调优阶段使用了Mistral-7B-Instruct和Mixtral-8x7B-Instruct等模型。具体的参数设置、损失函数和网络结构等技术细节在报告中进行了详细记录。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该研究通过构建专门针对挪威语的大型语言模型，在挪威语NLP任务中取得了显著的性能提升。指令调优的变体（例如，Mistral-7B-Instruct和Mixtral-8x7B-Instruct）展示了强大的助手式能力，突显了它们在交互式和特定领域应用中实际部署的潜力。具体的性能数据和对比基线在报告中进行了详细记录。

🎯 应用场景

该研究成果可广泛应用于挪威语相关的自然语言处理任务，如机器翻译、文本摘要、问答系统、对话系统等。这些模型可以为北欧的组织、公司和学生提供强大的NLP工具，促进挪威语在数字时代的交流和发展。未来，这些模型可以进一步扩展到其他斯堪的纳维亚语言，并应用于更广泛的领域，如教育、医疗和政府服务。

📄 摘要（原文）

Norwegian, spoken by approximately five million people, remains underrepresented in many of the most significant breakthroughs in Natural Language Processing (NLP). To address this gap, the NorLLM team at NorwAI has developed a family of models specifically tailored to Norwegian and other Scandinavian languages, building on diverse Transformer-based architectures such as GPT, Mistral, Llama2, Mixtral and Magistral. These models are either pretrained from scratch or continually pretrained on 25B - 88.45B tokens, using a Norwegian-extended tokenizer and advanced post-training strategies to optimize performance, enhance robustness, and improve adaptability across various real-world tasks. Notably, instruction-tuned variants (e.g., Mistral-7B-Instruct and Mixtral-8x7B-Instruct) showcase strong assistant-style capabilities, underscoring their potential for practical deployment in interactive and domain-specific applications. The NorwAI large language models are openly available to Nordic organizations, companies and students for both research and experimental use. This report provides detailed documentation of the model architectures, training data, tokenizer design, fine-tuning strategies, deployment, and evaluations.