Rufus-Air: An Open LLM Post-Training Recipe

📄 arXiv: 2609.29421v2 📥 PDF

作者: Chia-Yuan Chang, Renyuan Cheng, Rui Feng, Xiaotian Han, Yuan He, Hongye Jin, Linwei Li, Shiyang Li, Fenglin Liu, Xin Liu, Priyanka Nigam, Haoyang Wen, Zhenghao Xu, Zhuocheng Xu, Bing Yin, Qingyu Yin, Chao Zhang, Rongzhi Zhang, Zhihan Zhang, Zixuan Zhang, Zixuan Zhang, Tuo Zhao

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-09-24 (更新: 2026-09-25)

备注: 48 pages, 9 figures, 20 tables. Authors are listed alphabetically by surname; all contributed while at Amazon. The two authors named Zixuan Zhang are different people

💡 一句话要点

提出Rufus-Air以优化大规模语言模型的后训练过程

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练 大规模语言模型 强化学习 奖励设计 自然语言处理 系统化训练 开源模型

📋 核心要点

  1. 现有的后训练方法在模型能力提升和奖励设计上存在不足，难以有效利用公开数据。
  2. Rufus-Air通过八个阶段的系统化训练流程，结合多种奖励机制，优化了大规模语言模型的后训练过程。
  3. 实验结果表明，Rufus-Air在能力基础和学习效率上显著优于现有模型，且在多个任务上表现出色。

📝 摘要（中文）

Rufus-Air是一种开放且可重复的后训练方案，基于GLM-4.5-Air-Base（106B-A12B），由八个阶段组成：SFT、推理强化学习、编码强化学习、指令跟随强化学习、通用代理、编码代理、搜索代理和RLHF。我们详细记录了数据、奖励设计、基础设施、阶段顺序和阶段性结果，以便重现该方案。研究发现，高质量的SFT建立了强大的能力基础，难度过滤保持了RL提示在有效学习范围内，奖励可靠性为阶段排序提供了实用原则，基础设施和工程选择也是方案的一部分，而不仅仅是实现细节。Rufus-Air在官方GLM-4.5-Air后训练版本上有所改进，并与同类开源模型具有竞争力。

🔬 方法详解

问题定义：本论文旨在解决现有大规模语言模型后训练过程中的效率和效果问题，尤其是在奖励设计和数据利用方面的不足。

核心思路：Rufus-Air通过建立一个系统化的八阶段训练流程，结合多样化的奖励机制，确保模型在不同能力层次上逐步提升。

技术框架：整体架构包括八个阶段：SFT（监督微调）、推理强化学习、编码强化学习、指令跟随强化学习、通用代理、编码代理、搜索代理和RLHF（强化学习人类反馈）。每个阶段的设计旨在从基础能力到高级能力逐步推进。

关键创新：Rufus-Air的主要创新在于其阶段性训练流程和奖励设计的可靠性，这与传统方法的线性训练方式形成鲜明对比，能够更有效地利用公开数据。

关键设计：在训练过程中，采用了高质量的SFT作为基础，难度过滤机制确保了RL提示的有效性，奖励设计则从硬性可验证奖励到软性评估信号逐步过渡，确保了训练的灵活性和有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，Rufus-Air在多个基准测试中表现优异，相较于官方GLM-4.5-Air后训练版本，能力提升显著，尤其是在复杂任务的处理上，模型的表现达到了新的高度，展现出与同类开源模型的竞争力。

🎯 应用场景

Rufus-Air的研究成果在自然语言处理、对话系统、代码生成等多个领域具有广泛的应用潜力。通过优化后训练过程，该方法能够提升模型的理解和生成能力，进而推动智能助手、编程辅助工具等应用的发展。

📄 摘要（原文）

Rufus-Air is an open and reproducible post-training recipe on GLM-4.5-Air-Base (106B-A12B), organized as a serial pipeline of eight stages: SFT, Reasoning RL, Coding RL, Instruction-Following RL, General Agent, Coding Agent, Search Agent, and RLHF. We document the data, reward design, infrastructure, stage order, and stagewise results needed to reproduce the recipe. Stages progress from basic to advanced capabilities and from hard, verifiable rewards to softer judge-based signals. Training builds on open-source components and public data, much of it used as released, without new human annotation or an in-house distillation teacher. Our main findings are that (i) diverse, high-quality SFT establishes a strong capability floor; (ii) difficulty filtering keeps RL prompts within a productive learning range; (iii) reward reliability provides a practical principle for ordering stages; and (iv) infrastructure and engineering choices are part of the recipe, not just an implementation detail. Rufus-Air improves over the official GLM-4.5-Air post-trained release and is competitive with similarly sized open models.