Rufus-Air: An Open LLM Post-Training Recipe

📄 arXiv: 2609.29421v1 📥 PDF

作者: Chia-Yuan Chang, Renyuan Cheng, Rui Feng, Xiaotian Han, Yuan He, Hongye Jin, Linwei Li, Shiyang Li, Fenglin Liu, Xin Liu, Priyanka Nigam, Haoyang Wen, Zhenghao Xu, Zhuocheng Xu, Bing Yin, Qingyu Yin, Chao Zhang, Rongzhi Zhang, Zhihan Zhang, Zixuan Zhang, Zixuan Zhang, Tuo Zhao

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-09-24

备注: 47 pages, 9 figures, 20 tables. Authors are listed alphabetically by surname; all contributed while at Amazon. The two authors named Zixuan Zhang are different people

💡 一句话要点

提出Rufus-Air以优化GLM-4.5-Air的后训练过程

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练 强化学习 自然语言处理 模型优化 奖励设计 开放源代码 能力提升

📋 核心要点

  1. 现有的后训练方法在能力提升和奖励设计上存在不足，难以实现高效的学习过程。
  2. Rufus-Air通过八个阶段的系统性训练，逐步提升模型能力，采用多样化的奖励设计来优化学习效果。
  3. 实验结果表明，Rufus-Air在能力基础上有显著提升，并在与同类模型的比较中表现出竞争力。

📝 摘要（中文）

Rufus-Air是一个开放且可复现的后训练方案，基于GLM-4.5-Air-Base（106B-A12B），由八个阶段组成：SFT、推理强化学习、编码强化学习、指令跟随强化学习、通用代理、编码代理、搜索代理和RLHF。我们详细记录了数据、奖励设计、基础设施、阶段顺序及阶段性结果，以便复现该方案。研究发现，丰富的高质量SFT建立了强大的能力基础；难度过滤保持了RL提示在有效学习范围内；奖励可靠性为阶段排序提供了实用原则；基础设施和工程选择是方案的一部分，而不仅仅是实现细节。Rufus-Air在官方GLM-4.5-Air后训练版本上有所改进，并与同类开放模型具有竞争力。

🔬 方法详解

问题定义：本论文旨在解决现有后训练方法在能力提升和奖励设计上的不足，尤其是在如何有效利用开放源代码和公共数据方面的挑战。

核心思路：Rufus-Air通过设计一个八阶段的训练流程，从基础到高级能力逐步提升，利用多样化的奖励信号来优化学习过程。这样的设计使得模型能够在不同的学习阶段获得适当的反馈。

技术框架：整体架构包括八个主要阶段：SFT（监督微调）、推理强化学习、编码强化学习、指令跟随强化学习、通用代理、编码代理、搜索代理和RLHF（基于人类反馈的强化学习）。每个阶段都有明确的目标和奖励设计。

关键创新：该研究的主要创新在于将多样化的奖励设计与阶段性训练相结合，确保模型在不同阶段获得适当的学习信号，从而提高了训练的有效性和效率。

关键设计：在训练过程中，采用了高质量的SFT作为基础，使用难度过滤来保持RL提示在有效学习范围内，同时确保奖励的可靠性，以指导阶段的顺序和训练策略。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，Rufus-Air在能力基础上显著提升，相较于官方GLM-4.5-Air后训练版本，表现出更强的竞争力，尤其在处理复杂任务时的表现更为优越。

🎯 应用场景

Rufus-Air的研究成果可广泛应用于自然语言处理、对话系统和智能助手等领域，提升模型的理解和生成能力，具有重要的实际价值和潜在影响。

📄 摘要（原文）

Rufus-Air is an open and reproducible post-training recipe on GLM-4.5-Air-Base (106B-A12B), organized as a serial pipeline of eight stages: SFT, Reasoning RL, Coding RL, Instruction-Following RL, General Agent, Coding Agent, Search Agent, and RLHF. We document the data, reward design, infrastructure, stage order, and stagewise results needed to reproduce the recipe. Stages progress from basic to advanced capabilities and from hard, verifiable rewards to softer judge-based signals. Training builds on open-source components and public data, much of it used as released, without new human annotation or an in-house distillation teacher. Our main findings are that (i) diverse, high-quality SFT establishes a strong capability floor; (ii) difficulty filtering keeps RL prompts within a productive learning range; (iii) reward reliability provides a practical principle for ordering stages; and (iv) infrastructure and engineering choices are part of the recipe, not just an implementation detail. Rufus-Air improves over the official GLM-4.5-Air post-trained release and is competitive with similarly sized open models.