Olmo 3

📄 arXiv: 2512.13961v1 📥 PDF

作者: Team Olmo, :, Allyson Ettinger, Amanda Bertsch, Bailey Kuehl, David Graham, David Heineman, Dirk Groeneveld, Faeze Brahman, Finbarr Timbers, Hamish Ivison, Jacob Morrison, Jake Poznanski, Kyle Lo, Luca Soldaini, Matt Jordan, Mayee Chen, Michael Noukhovitch, Nathan Lambert, Pete Walsh, Pradeep Dasigi, Robert Berry, Saumya Malik, Saurabh Shah, Scott Geng, Shane Arora, Shashank Gupta, Taira Anderson, Teng Xiao, Tyler Murray, Tyler Romero, Victoria Graf, Akari Asai, Akshita Bhagia, Alexander Wettig, Alisa Liu, Aman Rangapur, Chloe Anastasiades, Costa Huang, Dustin Schwenk, Harsh Trivedi, Ian Magnusson, Jaron Lochner, Jiacheng Liu, Lester James V. Miranda, Maarten Sap, Malia Morgan, Michael Schmitz, Michal Guerquin, Michael Wilson, Regan Huff, Ronan Le Bras, Rui Xin, Rulin Shao, Sam Skjonsberg, Shannon Zejiang Shen, Shuyue Stella Li, Tucker Wilde, Valentina Pyatkin, Will Merrill, Yapei Chang, Yuling Gu, Zhiyuan Zeng, Ashish Sabharwal, Luke Zettlemoyer, Pang Wei Koh, Ali Farhadi, Noah A. Smith, Hannaneh Hajishirzi

分类: cs.CL, cs.LG

发布日期: 2025-12-15

💡 一句话要点

发布Olmo 3：一系列最先进的、完全开源的7B和32B参数规模的语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 开源模型 长上下文推理 函数调用 指令跟随 知识回忆 Transformer

📋 核心要点

  1. 现有语言模型在长上下文推理、函数调用和知识回忆等方面存在不足，限制了其在复杂任务中的应用。
  2. Olmo 3通过精心设计的模型架构和训练流程，着重提升模型在长上下文理解和复杂任务处理方面的能力。
  3. Olmo 3 Think 32B作为旗舰模型，在多个基准测试中表现出色，成为目前最强的完全开源的思考模型。

📝 摘要（中文）

我们介绍了Olmo 3，一系列最先进的、完全开源的7B和32B参数规模的语言模型。Olmo 3模型构建的目标是长上下文推理、函数调用、编码、指令跟随、通用聊天和知识回忆。本次发布包括完整的模型流程，即模型系列的完整生命周期，包括用于构建它的每个阶段、检查点、数据点和依赖项。我们的旗舰模型Olmo 3 Think 32B是迄今为止发布的最强大的完全开源的思考模型。

🔬 方法详解

问题定义：现有的大型语言模型在长上下文推理、函数调用、编码等任务上仍面临挑战，尤其是在开源领域，缺乏性能卓越且完全开放的模型。这些挑战限制了研究人员和开发者在这些领域进行深入研究和应用。

核心思路：Olmo 3的核心思路是构建一系列完全开源的语言模型，并在模型设计和训练过程中着重关注长上下文推理、函数调用、编码、指令跟随、通用聊天和知识回忆等能力。通过开放模型的所有环节，促进社区的共同发展和创新。

技术框架：Olmo 3的整体框架包括数据收集与处理、模型架构设计、训练流程和评估。具体来说，数据收集涵盖了多种来源，包括文本、代码等。模型架构基于Transformer，并针对长上下文推理进行了优化。训练流程采用了大规模分布式训练，并使用了多种优化技术。评估则通过一系列基准测试来衡量模型在不同任务上的性能。

关键创新：Olmo 3的关键创新在于其完全开源的特性，以及在模型构建过程中对长上下文推理和复杂任务处理能力的重点关注。此外，Olmo 3还采用了先进的训练技术和优化策略，以提高模型的性能和效率。

关键设计：Olmo 3的具体技术细节包括：采用了特定的Transformer变体以支持长上下文；使用了特定的数据混合比例来优化模型在不同任务上的表现；采用了特定的学习率调度策略和优化器来加速训练过程；使用了特定的正则化技术来防止过拟合。具体的参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

🖼️ 关键图片

img_0

📊 实验亮点

Olmo 3 Think 32B是目前最强大的完全开源的思考模型。虽然摘要中没有给出具体的性能数据和对比基线，但强调了其在长上下文推理、函数调用等任务上的卓越表现。具体的实验结果和性能提升幅度需要在论文全文中查找。

🎯 应用场景

Olmo 3可广泛应用于自然语言处理的各个领域，如智能客服、机器翻译、文本摘要、代码生成等。其完全开源的特性，使得研究人员和开发者可以基于Olmo 3进行二次开发和定制，加速相关技术的创新和应用。同时，Olmo 3也有望促进开源社区的发展，推动人工智能技术的普及。

📄 摘要（原文）

We introduce Olmo 3, a family of state-of-the-art, fully-open language models at the 7B and 32B parameter scales. Olmo 3 model construction targets long-context reasoning, function calling, coding, instruction following, general chat, and knowledge recall. This release includes the entire model flow, i.e., the full lifecycle of the family of models, including every stage, checkpoint, data point, and dependency used to build it. Our flagship model, Olmo 3 Think 32B, is the strongest fully-open thinking model released to-date.