Ruyi2 Technical Report

📄 arXiv: 2602.22543v1 📥 PDF

作者: Huan Song, Shuyu Tian, Junyi Hao, Minxiu Xu, Hongjun An, Yiliang Song, Jiawei Shao, Xuelong Li

分类: cs.CL, cs.AI

发布日期: 2026-02-26

💡 一句话要点

Ruyi2：基于Familial Model的自适应深度计算加速方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 自适应计算 早退机制 模型压缩 分布式训练 参数共享 Familial Model

📋 核心要点

  1. 现有早退模型优化复杂，难以兼容大规模分布式训练，限制了LLM的自适应计算能力。
  2. Ruyi2提出基于Megatron-LM的“Familial Model”，通过参数共享实现高效的可变深度计算。
  3. 实验表明，Ruyi2通过3D并行训练，速度提升2-3倍，性能与同等规模的Qwen3模型相当。

📝 摘要（中文）

大型语言模型（LLMs）在部署成本和延迟方面面临严峻挑战，需要自适应的计算策略。本文在AI Flow框架的基础上，介绍了Ruyi2，作为自适应模型系列的演进，旨在实现高效的可变深度计算。尽管早退（early-exit）架构在效率和性能之间提供了可行的平衡，但Ruyi模型和现有方法通常难以应对优化复杂性和大规模分布式训练的兼容性。为了弥合这一差距，Ruyi2引入了一种基于Megatron-LM的稳定“Familial Model”。通过使用3D并行训练，它实现了比Ruyi快2-3倍的速度，同时性能与同等规模的Qwen3模型相当。这些结果证实了基于家族的参数共享是一种非常有效的策略，建立了一种新的“一次训练，多次部署”的范例，并为平衡架构效率与高性能能力提供了关键参考。

🔬 方法详解

问题定义：现有的大型语言模型在部署时面临高昂的计算成本和延迟，尤其是在资源受限的环境中。早退（Early-Exit）架构是一种常见的加速方法，但现有的早退模型，包括之前的Ruyi模型，在优化复杂度和与大规模分布式训练的兼容性方面存在挑战，导致训练效率低下，难以充分发挥其潜力。

核心思路：Ruyi2的核心思路是引入“Familial Model”的概念，即一系列具有不同深度的模型共享大部分参数，从而实现参数共享和知识迁移。这种设计使得不同深度的模型能够协同训练，并利用彼此的知识，从而提高整体的训练效率和性能。同时，基于Megatron-LM框架，保证了模型训练的稳定性。

技术框架：Ruyi2的技术框架基于AI Flow，并利用Megatron-LM进行模型训练。整体流程包括：1) 构建Familial Model，定义不同深度的模型结构；2) 使用3D并行训练策略，加速模型训练过程；3) 在推理阶段，根据计算资源和延迟要求，选择合适的模型深度进行部署。

关键创新：Ruyi2的关键创新在于“Familial Model”的设计，它通过参数共享实现了“一次训练，多次部署”的范例。与传统的早退模型相比，Familial Model更加稳定，易于训练，并且能够更好地利用不同深度模型之间的知识。此外，Ruyi2还采用了3D并行训练策略，进一步提高了训练效率。

关键设计：Ruyi2的关键设计包括：1) 基于Megatron-LM的Familial Model架构，保证训练的稳定性；2) 3D并行训练策略，包括数据并行、模型并行和流水线并行，以加速训练过程；3) 损失函数的设计，可能包含对不同深度模型的输出进行加权，以平衡不同深度模型的性能。

📊 实验亮点

Ruyi2通过引入Familial Model和3D并行训练，实现了显著的性能提升。实验结果表明，Ruyi2的训练速度比之前的Ruyi模型快2-3倍，同时性能与同等规模的Qwen3模型相当。这些结果验证了Familial Model的有效性，并为自适应深度计算提供了一种新的解决方案。

🎯 应用场景

Ruyi2适用于对延迟和计算资源敏感的应用场景，例如移动设备上的自然语言处理、边缘计算环境中的智能助手、以及需要快速响应的在线服务。通过“一次训练，多次部署”的范例，Ruyi2可以显著降低模型部署和维护的成本，并提高资源利用率，推动LLM在更广泛领域的应用。

📄 摘要（原文）

Large Language Models (LLMs) face significant challenges regarding deployment costs and latency, necessitating adaptive computing strategies. Building upon the AI Flow framework, we introduce Ruyi2 as an evolution of our adaptive model series designed for efficient variable-depth computation. While early-exit architectures offer a viable efficiency-performance balance, the Ruyi model and existing methods often struggle with optimization complexity and compatibility with large-scale distributed training. To bridge this gap, Ruyi2 introduces a stable "Familial Model" based on Megatron-LM. By using 3D parallel training, it achieves a 2-3 times speedup over Ruyi, while performing comparably to same-sized Qwen3 models. These results confirm that family-based parameter sharing is a highly effective strategy, establishing a new "Train Once, Deploy Many" paradigm and providing a key reference for balancing architectural efficiency with high-performance capabilities.