Model Merging in the Era of Large Language Models: Methods, Applications, and Future Directions

📄 arXiv: 2603.09938v1 📥 PDF

作者: Mingyang Song, Mao Zheng

分类: cs.CL

发布日期: 2026-03-10

💡 一句话要点

提出FUSE框架，综述大语言模型合并方法、应用与未来方向。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型合并 大语言模型 模型集成 多任务学习 联邦学习 知识融合 FUSE框架

📋 核心要点

  1. 现有方法在组合多个大语言模型时，通常需要昂贵的重新训练或集成，计算成本高昂。
  2. 论文核心思想是利用模型合并技术，在不进行额外训练的情况下，将多个模型的优势融合到一个模型中。
  3. 论文构建了FUSE四维框架，系统性地回顾了模型合并的理论基础、算法、应用场景和生态系统。

📝 摘要（中文）

模型合并已成为一种变革性的范式，它可以在无需额外训练的情况下，将多个神经网络的能力组合成一个统一的模型。随着微调后的大语言模型（LLM）的迅速普及，模型合并技术提供了一种计算效率高的替代方案，可以替代集成方法和完全重新训练，使从业者能够以最小的成本组合专门的能力。本综述通过 extbf{FUSE}分类法，对LLM时代的模型合并进行了全面而结构化的考察，该分类法是一个四维框架，围绕 extbf{F}oundations（基础）、 extbf{U}nification Strategies（统一策略）、 extbf{S}cenarios（场景）和 extbf{E}cosystem（生态系统）组织。我们首先建立了合并的理论基础，包括损失景观几何、模式连通性和线性模式连通性假设。然后，我们系统地回顾了算法领域，涵盖权重平均、任务向量算术、稀疏化增强方法、混合专家架构和进化优化方法。对于每个方法族，我们分析了核心公式，重点介绍了代表性工作，并讨论了实际的权衡。我们进一步研究了跨多任务学习、安全对齐、领域专业化、多语言迁移和联邦学习的下游应用。最后，我们调查了开源工具、社区平台和评估基准的支持生态系统，并确定了关键的开放挑战，包括理论差距、可扩展性障碍和标准化需求。本综述旨在为研究人员和从业人员提供一个结构化的基础，以推进模型合并。

🔬 方法详解

问题定义：现有的大语言模型组合方法，如模型集成或完全重新训练，计算成本高昂，效率低下。模型合并旨在解决如何在不进行大量训练的情况下，将多个模型的知识和能力整合到一个单一模型中的问题。现有方法在可扩展性、理论理解和标准化方面存在不足。

核心思路：论文的核心思路是通过对现有模型参数进行某种形式的组合（例如加权平均），从而创建一个新的模型，该模型能够继承并融合原始模型的优点。这种方法避免了从头开始训练的需要，大大降低了计算成本。

技术框架：论文提出了一个名为FUSE的四维框架，用于组织和理解模型合并领域。该框架包含四个维度： extbf{F}oundations（基础，涵盖模型合并的理论基础，如损失景观几何）， extbf{U}nification Strategies（统一策略，涵盖各种模型合并算法，如权重平均）， extbf{S}cenarios（场景，涵盖模型合并的应用场景，如多任务学习）和 extbf{E}cosystem（生态系统，涵盖支持模型合并的工具和平台）。

关键创新：论文的主要创新在于提供了一个全面且结构化的模型合并综述，并提出了FUSE框架，该框架有助于研究人员和从业者更好地理解和应用模型合并技术。此外，论文还强调了该领域存在的挑战和未来的研究方向。

关键设计：论文对各种模型合并算法进行了分类和分析，包括权重平均（Weight Averaging）、任务向量算术（Task Vector Arithmetic）、稀疏化增强方法（Sparsification-enhanced Methods）、混合专家架构（Mixture-of-Experts Architectures）和进化优化方法（Evolutionary Optimization Approaches）。论文还讨论了这些方法在不同应用场景下的优缺点和适用性。

📊 实验亮点

该论文是一篇综述性文章，没有具体的实验结果。但它系统性地总结了模型合并领域的研究进展，并指出了未来的研究方向，为研究人员和从业者提供了一个有价值的参考。

🎯 应用场景

模型合并技术在多个领域具有广泛的应用前景，包括多任务学习（将多个任务的能力集成到一个模型中）、安全对齐（合并具有不同安全策略的模型）、领域专业化（将通用模型与特定领域的模型合并）和联邦学习（在不共享原始数据的情况下合并多个客户端的模型）。该技术可以降低模型部署和维护的成本，并促进模型的个性化定制。

📄 摘要（原文）

Model merging has emerged as a transformative paradigm for combining the capabilities of multiple neural networks into a single unified model without additional training. With the rapid proliferation of fine-tuned large language models~(LLMs), merging techniques offer a computationally efficient alternative to ensembles and full retraining, enabling practitioners to compose specialized capabilities at minimal cost. This survey presents a comprehensive and structured examination of model merging in the LLM era through the \textbf{FUSE} taxonomy, a four-dimensional framework organized along \textbf{F}oundations, \textbf{U}nification Strategies, \textbf{S}cenarios, and \textbf{E}cosystem. We first establish the theoretical underpinnings of merging, including loss landscape geometry, mode connectivity, and the linear mode connectivity hypothesis. We then systematically review the algorithmic landscape, spanning weight averaging, task vector arithmetic, sparsification-enhanced methods, mixture-of-experts architectures, and evolutionary optimization approaches. For each method family, we analyze the core formulation, highlight representative works, and discuss practical trade-offs. We further examine downstream applications across multi-task learning, safety alignment, domain specialization, multilingual transfer, and federated learning. Finally, we survey the supporting ecosystem of open-source tools, community platforms, and evaluation benchmarks, and identify key open challenges including theoretical gaps, scalability barriers, and standardization needs. This survey aims to equip researchers and practitioners with a structured foundation for advancing model merging.