Mach-Mind-4-Flash Technical Report
作者: Foundation Model Team
分类: cs.LG, cs.CL
发布日期: 2026-07-10
💡 一句话要点
提出Mach-Mind-4-Flash以提升大规模强化学习性能
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 混合专家 后训练优化 强化学习 多教师蒸馏 策略优化 模型压缩 智能交互环境
📋 核心要点
- 现有大规模模型在计算资源和推理效率上存在瓶颈，难以满足实际应用需求。
- 提出的Mach-Mind-4-Flash模型通过后训练优化和混合专家架构，显著提升了模型性能与推理效率。
- 在多个基准测试中，Mach-Mind-4-Flash的表现超越了激活参数为其10-30倍的模型，且推理成本更低。
📝 摘要（中文）
我们提出了Mach-Mind-4-Flash，这是一个拥有350亿参数的混合专家（MoE）模型，激活参数为30亿。通过后训练优化，模型在不增加预训练计算的情况下，达到了与1000亿参数级模型相当或更优的性能。通过引入可扩展的智能交互环境，该模型在实际应用任务中获得了显著的性能提升。我们的流程包括三个阶段：统一的RL/OPD训练基础设施、多个领域特定的RL专家并行训练后融合为通用模型，以及混合中位数长度策略优化（HMPO），有效压缩推理链。Mach-Mind-4-Flash在多个基准测试中表现优异，展示了其在推理效率和成本上的优势。
🔬 方法详解
问题定义：现有大规模模型在计算资源和推理效率上存在瓶颈，尤其是在实际应用场景中，难以实现高效的强化学习。
核心思路：Mach-Mind-4-Flash通过后训练优化和混合专家架构，利用动态多教师调度和操作级加速，提升了训练速度和模型性能。
技术框架：整体架构分为三个主要阶段：1) 统一的RL/OPD训练基础设施，提供17%的训练速度提升；2) 多个领域特定的RL专家并行训练，随后通过多教师在线蒸馏（MOPD）融合为通用模型；3) 混合中位数长度策略优化（HMPO），压缩推理链，减少19-46%的长度，且准确率损失小于0.7个百分点。
关键创新：MOPD的引入消除了混合奖励强化学习中的“跷跷板”退化现象，显著提升了模型的学习效率和效果。
关键设计：模型采用350亿参数的混合专家架构，激活参数为30亿，使用动态调度和多教师策略优化，确保在大规模训练中保持高效性和准确性。
🖼️ 关键图片
📊 实验亮点
在多个基准测试中，Mach-Mind-4-Flash在AIME'26上得分92.70，IFBench上得分82.82，Behavioral-SafetyBench上得分80.74，BFCL-v4上得分75.80，BrowseComp-zh上得分72.31，以及ClawBench上得分84.20，表现超越或匹配了激活参数为其10-30倍的模型，且推理成本显著降低。
🎯 应用场景
Mach-Mind-4-Flash在多个实际应用场景中具有广泛的潜在价值，包括智能助手、自动驾驶、游戏AI等领域。其高效的推理能力和优越的性能使其能够在复杂环境中进行实时决策，推动智能系统的发展与应用。
📄 摘要（原文）
We present Mach-Mind-4-Flash, a 35B-parameter Mixture-of-Experts (MoE) agentic model with 3B activated parameters. Through post-training optimization alone without scaling pre-training compute, the model achieves performance on par with or surpassing that of 100B-parameter-class models. By introducing scalable agentic interaction environments for large-scale reinforcement learning, the model attains significant performance gains on real-world application tasks. Our pipeline comprises three stages: (1) a unified RL/OPD training infrastructure with dynamic multi-teacher scheduling and operator-level acceleration, delivering 17\% end-to-end training speedup; (2) multiple domain-specific RL experts trained in parallel across Reasoning, General, and Agent tracks, then fused into a single generalist via Multi-Teacher On-Policy Distillation (MOPD) -- a routed reverse-KL objective that eliminates the see-saw degradation of mixed-reward RL; (3) Hybrid Median-length Policy Optimization (HMPO), a single-stage token-efficiency method that compresses reasoning chains by 19--46\% with $\le$0.7 percentage-point accuracy loss. Mach-Mind-4-Flash scores 92.70 on AIME'26, 82.82 on IFBench, 80.74 on Behavioral-SafetyBench, 75.80 on BFCL-v4, 72.31 on BrowseComp-zh, and 84.20 on ClawBench -- leading or matching models with 10--30$\times$ its activated size at a fraction of the inference cost.