Ruyi2 Technical Report

📄 arXiv: 2602.22543 📥 PDF

作者: Huan Song, Shuyu Tian, Junyi Hao, Minxiu Xu, Hongjun An, Yiliang Song, Jiawei Shao, Xuelong Li

分类: cs.CL, cs.AI

发布日期: 2026-02-28

💡 一句话要点

Ruyi2：基于Familial Model的自适应深度计算加速方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自适应计算 早退机制 模型压缩 分布式训练

📋 核心要点

  1. 现有早退模型优化复杂，难以兼容大规模分布式训练，限制了LLM的自适应计算能力。
  2. Ruyi2提出基于Megatron-LM的“Familial Model”，通过参数共享实现高效的可变深度计算。
  3. 实验表明，Ruyi2相比Ruyi速度提升2-3倍，性能与同等规模的Qwen3模型相当。

📝 摘要（中文）

大型语言模型（LLMs）在部署成本和延迟方面面临严峻挑战，需要自适应计算策略。本文在AI Flow框架基础上，介绍了Ruyi2，作为自适应模型系列的演进，旨在实现高效的可变深度计算。尽管早退（early-exit）架构在效率和性能之间提供了可行的平衡，但Ruyi模型和现有方法通常难以应对优化复杂性和大规模分布式训练的兼容性。为了弥合这一差距，Ruyi2引入了基于Megatron-LM的稳定“Familial Model”。通过使用3D并行训练，它实现了比Ruyi快2-3倍的速度，同时性能与同等规模的Qwen3模型相当。这些结果证实，基于家族的参数共享是一种非常有效的策略，建立了一种新的“一次训练，多次部署”的范例，并为平衡架构效率与高性能能力提供了关键参考。

🔬 方法详解

问题定义：大型语言模型部署成本高、延迟大，而现有早退模型在优化复杂度和大规模分布式训练兼容性方面存在不足，难以实现高效的自适应计算。这限制了模型在不同资源约束下的灵活部署和应用。

核心思路：Ruyi2的核心思路是引入“Familial Model”，即家族模型。通过在模型家族内部进行参数共享，使得不同深度的模型能够共享知识，从而提高训练效率和性能。这种方法旨在解决早退模型优化困难的问题，并提升其在大规模分布式环境下的训练效果。

技术框架：Ruyi2构建于AI Flow框架之上，并基于Megatron-LM进行开发。其整体架构包含一个基础模型和多个早退层。基础模型使用Megatron-LM进行预训练，早退层则在基础模型的基础上进行微调。训练过程采用3D并行策略，包括数据并行、模型并行和流水线并行，以加速训练过程。

关键创新：Ruyi2的关键创新在于“Familial Model”的设计，它通过参数共享实现了不同深度模型之间的知识迁移，从而提高了训练效率和模型性能。与传统的早退模型相比，Ruyi2的训练更加稳定，并且能够更好地适应大规模分布式训练环境。

关键设计：Ruyi2的关键设计包括：1) 基于Megatron-LM的基础模型，保证了模型的性能和可扩展性；2) 3D并行训练策略，加速了训练过程；3) 参数共享机制，实现了不同深度模型之间的知识迁移；4) 损失函数的设计，平衡了不同深度模型的性能。

📊 实验亮点

Ruyi2在实验中表现出显著的性能提升。与Ruyi相比，Ruyi2的训练速度提升了2-3倍，这主要归功于其稳定的“Familial Model”和3D并行训练策略。同时，Ruyi2的性能与同等规模的Qwen3模型相当，证明了其在效率和性能之间的良好平衡。这些结果表明，Ruyi2是一种有效的自适应深度计算加速方案。

🎯 应用场景

Ruyi2适用于对延迟和计算资源敏感的应用场景，例如移动设备上的自然语言处理、边缘计算环境下的智能助手等。其“一次训练，多次部署”的范例可以降低模型部署成本，提高资源利用率，并促进LLM在更广泛领域的应用。未来，该技术有望应用于更多自适应计算场景，例如视频理解、语音识别等。

📄 摘要（原文）

Large Language Models (LLMs) face significant challenges regarding deployment costs and latency, necessitating adaptive computing strategies. Building upon the AI Flow framework, we introduce Ruyi2 as an evolution of our adaptive model series designed for efficient variable-depth computation. While early-exit architectures offer a viable efficiency-performance balance, the Ruyi model and existing methods often struggle with optimization complexity and compatibility with large-scale distributed training. To bridge this gap, Ruyi2 introduces a stable "Familial Model" based on Megatron-LM. By using 3D parallel training, it achieves a 2-3 times speedup over Ruyi, while performing comparably to same-sized Qwen3 models. These results confirm that family-based parameter sharing is a highly effective strategy, establishing a new "Train Once, Deploy Many" paradigm and providing a key reference for balancing architectural efficiency with high-performance capabilities.