Kolibri: A Sovereign European Model on the Pareto Frontier
作者: Aleph Alpha, :, Moritz Althaus, Artur Baranowski, Michael Barlow, Fabien C. Y. Benureau, Felix Berkenkamp, Amrita Bhattacherjee, Lukas Blübaum, Duncan Blythe, Augustijn de Boer, Bastian Boll, Thomas F. Burns, Björn Deiseroth, Niko Dürr, Béni Balázs Egressy, Niklas Finken, Niklas Freymuth, Fabian Gebhart, Max Hammer, Bastian Harren, Andreas Hartel, Johann Higl, Steffen Hirschmann, Pablo Iyu Guerrero, Yasser Jadidi, Andreas Jagusch, Mitja Kleider, Markus Klein, Jonas Knupp, Murali Kondragunta, Garwin Lechner, Dominik Lê-Kellner, Jurek Leonhardt, Jiaze Li, Sohir Maskey, Omar Mehio, Pit Neitemeier, Letitia Parcalabescu, Alejandro Petry Pacheco, Pranav Ragupathy, Martin Reinhardt, Peter Rodenkirch Nfissi, Dylan Rodriquez, Leonard Salewski, Raziye Sari, Jordan Sassoon, Ivo Schaper, Ilhan Scheer, Frank Schneider, Philipp Scholl, Lukas Schott, Eric Schreiber, Pablo Schumacher, Alessio Serra, Philipp Siedler, Prabhu Teja Sivaprasad, Mohamed Soliman, Till Speicher, Volker Stampa, Simon Thel, Serge Thilges, Irina Vidal Migallón, Denis Waßmann, Samuel Weinbach, Sascha Wirges, Michael Wüthrich, Alexei Zacharov
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-10-22
💡 一句话要点
提出Kolibri模型以支持德国及受监管领域的AI应用
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 混合专家模型 德语处理 强化学习 受监管领域 模型优化 公共管理 工业应用
📋 核心要点
- 现有模型在特定领域（如德语和受监管行业）的应用效果不佳，缺乏针对性的优化和部署。
- Kolibri模型采用混合专家架构，专注于德语数据的收集和处理，以满足特定行业需求。
- 模型在多个任务上经过强化学习和微调，展现出在质量和成本上的优越性，成为开放模型中的佼佼者。
📝 摘要（中文）
本报告介绍了Kolibri，一个具有78.1亿参数的英德混合专家变换器，旨在为德国及受监管领域（如公共管理、工业和航空航天）提供主权和专业化的部署。Kolibri在24万亿个标记上进行训练，其中德语占数据混合的20%以上。通过监督微调和强化学习，模型在推理、工具使用和指令跟随等任务上表现优异，激活了每个标记的4.4%参数，展现出在质量和服务成本上的优越性。
🔬 方法详解
问题定义：本论文旨在解决现有模型在德语及受监管领域应用中的不足，尤其是在数据适配和模型性能方面的挑战。现有方法往往缺乏针对性，难以满足特定行业的需求。
核心思路：Kolibri模型通过混合专家架构，结合大量德语数据和强化学习，旨在提升模型在特定领域的表现。设计上强调主权和专业化，确保模型在受监管环境中的可靠性和有效性。
技术框架：Kolibri的整体架构包括数据收集、模型训练、后期微调和评估等多个阶段。模型训练使用24万亿个标记，德语数据占比超过20%。后期微调结合了监督学习和强化学习，确保模型在多种任务上的适应性。
关键创新：Kolibri的主要创新在于其混合专家架构和针对德语的优化策略，使其在质量和服务成本上位于Pareto前沿，超越了现有模型。
关键设计：模型激活每个标记的4.4%参数，采用了精心设计的损失函数和网络结构，确保在推理、工具使用和指令跟随等任务中的高效表现。
📊 实验亮点
Kolibri模型在多个任务上表现出色，激活参数的比例达到4.4%，在开放模型中位于质量与服务成本的Pareto前沿。与基线模型相比，Kolibri在推理和工具使用等任务上展现出显著的性能提升，具体数据尚未披露。
🎯 应用场景
Kolibri模型的潜在应用领域包括公共管理、工业和航空航天等受监管行业。其专门针对德语的优化使其在这些领域的AI应用中具有实际价值，能够提升工作效率和决策支持能力，未来可能推动相关行业的智能化转型。
📄 摘要（原文）
This report introduces Kolibri, an English-German mixture-of-experts transformer with 78.1B total parameters and 3.46B active parameters per token, released as open weights under the Apache 2.0 licence. We built Kolibri for sovereign and specialised deployment, with a particular focus on German and on regulated domains such as public administration, industry, and aerospace. To support these settings, we control the full model-development process, including data, architecture, training infrastructure, post-training, and evaluation. We train Kolibri on 24T tokens across pre-training, mid-training, and long-context extension, with German accounting for more than 20% of the data mix by bytes. To reach this share, we complement German datasets with more than 2T German tokens that we curate from the web with our own pipeline and generate synthetically. Post-training combines supervised fine-tuning on curated German and English data with reinforcement learning on more than 1.2M internally curated tasks, which cover reasoning, tool use, instruction following, code, and retrieval. The model activates 4.4% of its parameters per token, and among the open models evaluated in this report, it lies on the Pareto frontier of quality and serving cost in English and German. Kolibri builds on Kolibri Origin, an earlier iteration that validated our full pipeline at scale. Both models come from our Model Factory, which connects data, experimentation, training, evaluation, and deployment through version-controlled workflows.