$α$Transfer: Coefficient Transfer for Efficient Model Merging

📄 arXiv: 2610.07819v1 📥 PDF

作者: Shih-Cheng Huang, Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Hung-yi Lee, Shao-Hua Sun

分类: cs.LG, cs.CL, cs.CV

发布日期: 2026-10-06

备注: Under review

💡 一句话要点

提出$α$Transfer以解决模型合并效率低下问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型合并 参数转移 效率提升 视觉变换器 大型语言模型 深度学习 计算机视觉 自然语言处理

📋 核心要点

  1. 现有模型合并方法在寻找最佳合并系数时需要进行广泛的搜索，导致高内存需求和组合增长的搜索空间，使得效率低下。
  2. 论文提出的$α$Transfer方法通过在小型代理模型上寻找最佳合并系数，并将其转移到更大的目标模型，显著提高了合并效率。
  3. 实验结果显示，$α$Transfer在视觉变换器上实现了6倍的速度提升和70%的内存减少，在大型语言模型上实现了20倍的速度提升和85%的内存减少。

📝 摘要（中文）

模型合并通过参数算术将多个微调检查点组合为单一模型，然而，寻找最佳合并系数的过程在模型规模增大时变得极为昂贵。本文提出$α$Transfer方法，利用同一模型家族中模型在不同大小下的合并系数表现分布的相似性，允许在小型代理模型上搜索最佳系数，并将其直接转移到更大的目标模型上。实验结果表明，在视觉变换器上实现了6倍的速度提升和70%的内存减少，在大型语言模型上实现了20倍的速度提升和85%的内存减少，同时保持了相当的性能。

🔬 方法详解

问题定义：模型合并的核心问题在于如何高效地找到最佳合并系数，现有方法在模型规模和数量增加时，搜索过程变得极为昂贵，导致效率低下。

核心思路：$α$Transfer方法利用同一模型家族中不同模型在合并系数上的表现分布相似性，通过在小型代理模型上进行搜索，直接将最佳系数转移到更大的目标模型上，从而提高合并效率。

技术框架：该方法的整体架构包括两个主要阶段：首先在小型代理模型上进行合并系数的搜索，其次将获得的最佳系数应用于更大的目标模型，确保在不同模型大小间的有效性。

关键创新：$α$Transfer的主要创新在于利用模型家族内部的表现一致性，避免了对每个模型进行独立的合并系数搜索，从而显著减少了计算资源的消耗。

关键设计：在实现过程中，关键参数设置包括合并系数的初始值和搜索策略，损失函数设计上确保了合并后模型性能的保持，同时网络结构上保持了模型的可扩展性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，$α$Transfer在视觉变换器上实现了6倍的速度提升和70%的内存减少，在大型语言模型上实现了20倍的速度提升和85%的内存减少，且性能保持相当，展现出该方法的显著优势。

🎯 应用场景

$α$Transfer方法在多个领域具有广泛的应用潜力，尤其是在需要合并多个微调模型的场景，如计算机视觉和自然语言处理。该方法的高效性和可扩展性使其在资源受限的环境中尤为重要，未来可能推动更大规模模型的部署与应用。

📄 摘要（原文）

Model merging offers a promising solution for combining multiple fine-tuned checkpoints into a single model through parameter arithmetic. However, finding optimal merging coefficients requires an extensive search that becomes prohibitively expensive as models scale in both size and number, due to high memory requirements and combinatorial growth in the search space. We show that, within the same model family, models exhibit highly congruent performance distributions over merging coefficients across different model sizes. This distributional similarity enables a practical paradigm we call \textit{$α$Transfer}: searching for optimal coefficients on a small proxy model, then directly transfer them to larger target models. We verify $α$Transfer across multiple merging methods, model families, and tasks. Experimental results demonstrate a 6$\times$ speedup and 70\% memory reduction on vision transformers, and a 20$\times$ speedup and 85\% memory reduction on large language models, while maintaining comparable performance. Our findings establish $α$Transfer as an efficient and generalizable approach to scaling model merging.