Accordion: Elastic-Depth Inference via Fixed-Prefix Layer Looping

📄 arXiv: 2610.32492v1 📥 PDF

作者: Yudong Zhang, Wei Ding, Kaili Zheng, Yuchen Ding, Zhenyu Zhang

分类: cs.LG, cs.CL

发布日期: 2026-10-23

💡 一句话要点

提出Accordion模型以解决多预算推理的性能挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 混合专家 循环变换器 推理预算 模型蒸馏 自然语言处理 强化学习 参数重用

📋 核心要点

  1. 现有的循环变换器在不同推理预算下保持性能的挑战仍未解决，导致模型训练和维护成本高昂。
  2. Accordion模型通过固定前缀层循环和专家混合方法，支持多种推理预算，优化了推理效率与性能。
  3. 经过3.6T标记的预训练，Accordion模型在多个任务上显著提升了性能，尤其是在中间预算下表现突出。

📝 摘要（中文）

大型语言模型在不同推理预算下的应用日益广泛，但为每个预算训练和维护单独模型的成本高昂。近期的循环变换器虽然通过参数重用实现了灵活的推理计算，但在不同预算下保持强性能仍然是一个挑战。本文提出Accordion模型，基于专家混合的方法，通过固定前缀层循环支持五种推理预算。每个预算遵循预定义的执行路径，最小预算保留未循环模型。联合预训练在每个微批次中采样一个预算，并优化下一个标记预测损失，而无需额外的跨预算一致性目标。通过监督微调和强化学习进一步保留这些推理预算，参数组合并和预算匹配的多教师在线蒸馏将三个领域专家整合为一个模型。经过3.6T标记的预训练，增加推理深度使Accordion-6B-A0.5B在37个任务上的五类宏平均提高了3.01个百分点，中间预算以一半的额外层执行捕获了89%的增益。最终模型在各自任务和预算平均上超越了每个领域专家，同时在所有预算下实现了强大的指令跟随性能，并在数学推理和代码生成中保持深度依赖的增益。

🔬 方法详解

问题定义：本文旨在解决在不同推理预算下保持大型语言模型性能的挑战。现有方法在参数重用方面存在局限，导致模型在多预算场景下的表现不佳。

核心思路：Accordion模型采用混合专家的方法，通过固定前缀层循环来支持五种推理预算。每个预算遵循特定的执行路径，最小预算则保留未循环的模型结构，以确保基础性能。

技术框架：Accordion的整体架构包括联合预训练、监督微调和强化学习三个主要阶段。联合预训练在每个微批次中随机选择一个预算进行优化，而微调和强化学习则通过参数组合并和多教师蒸馏来整合不同领域的专家知识。

关键创新：最重要的创新在于通过固定前缀层循环实现了预算间的参数重用，同时保持了模型在不同任务上的强性能。这一设计与现有方法的根本区别在于其灵活性和高效性。

关键设计：在模型设计中，采用了预算匹配的多教师在线蒸馏策略，确保不同预算下的知识传递和性能提升。此外，损失函数的设计也优化了下一个标记的预测损失，增强了模型的学习能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

Accordion模型在经过3.6T标记的预训练后，提升了在37个任务上的五类宏平均3.01个百分点。尤其是在中间预算下，模型以一半的额外层执行捕获了89%的性能增益，超越了各领域专家的表现，展现出强大的指令跟随能力。

🎯 应用场景

Accordion模型的潜在应用领域包括自然语言处理、对话系统和代码生成等。其灵活的推理预算支持使得模型能够在资源受限的环境中高效运行，具有广泛的实际价值。未来，该模型的设计理念可能会影响其他领域的模型架构，推动多预算推理的研究进展。

📄 摘要（原文）

Large language models serve applications with diverse inference budgets, but training and maintaining separate models for each budget incurs substantial costs. Recent Looped Transformers enable flexible inference computation through parameter reuse, but maintaining strong performance across different inference budgets remains an open challenge. We introduce Accordion, a mixture-of-experts-based model that supports five inference budgets through fixed-prefix layer looping. Each budget follows a pre-defined execution path, while the minimum budget retains the unlooped model. Joint pretraining samples one budget per micro-batch and optimizes its next-token prediction loss without additional cross-budget consistency objectives. We further preserve these inference budgets through supervised fine-tuning and reinforcement learning, where parameter-group merging and budget-matched multi-teacher on-policy distillation integrate three domain experts into one model. After 3.6T tokens of pretraining, increasing inference depth improves Accordion-6B-A0.5B's five-category macro-average across 37 tasks by 3.01 percentage points, with the middle budget capturing 89% of this gain using half as many additional layer executions. The final model surpasses each domain expert on its corresponding task-and-budget average, while achieving strong instruction-following performance across all budgets and retaining depth-dependent gains in mathematical reasoning and code generation.