From Parameters to Behaviors: A Survey of Model Fusion for Large Language Models
作者: Shuo Cai, Yanggan Gu, Zihao Wang, Yuanyi Wang, Yibo Yan, Wenjun Wang, Yuhang Liu, Guanghao Zhu, Sirui Huang, Ming Li, Hongxia Yang
分类: cs.CL
发布日期: 2026-09-17
备注: 25 pages, 4 figures. Accepted to Findings of the Association for Computational Linguistics: EMNLP 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出模型融合方法以整合大语言模型的能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 模型融合 大语言模型 参数级融合 表示级融合 行为级融合 自然语言处理 机器学习
📋 核心要点
- 现有的模型融合研究缺乏统一的定义和系统的分类，导致对这一领域的理解不够全面。
- 本文提出了一种将模型融合分为参数级、表示级和行为级的系统分类方法，以整合不同模型的能力。
- 通过对现有文献的回顾，本文总结了模型融合的挑战和未来方向，为后续研究提供了参考。
📝 摘要（中文）
模型融合将源模型的能力整合到单一目标模型中。到2026年6月，Hugging Face上托管了超过200万个模型，这为模型重用和能力整合提供了丰富的基础。然而，现有的调查往往只覆盖这一领域的部分内容，缺乏统一的定义和系统的分类。本文定义了模型融合，并将先前的研究组织为参数级、表示级和行为级融合三个层次。同时，我们回顾了相关的度量标准、基准和应用，总结了当前的挑战，并识别了未来的方向。我们的目标是提供该领域的清晰地图，并支持未来的模型融合研究。
🔬 方法详解
问题定义：本文旨在解决现有模型融合研究缺乏统一定义和系统分类的问题，现有方法往往只关注特定方面，导致整体理解不足。
核心思路：论文提出将模型融合分为三个层次：参数级、表示级和行为级，以便更全面地整合不同模型的能力，并提供清晰的研究框架。
技术框架：整体架构包括对现有模型的分类、相关度量标准的回顾、基准测试的总结，以及对应用场景的探讨，形成一个系统的模型融合研究地图。
关键创新：最重要的创新在于提出了一个系统的分类框架，使得模型融合的研究更加系统化和全面化，填补了现有文献的空白。
关键设计：在分类过程中，论文详细讨论了不同层次的融合方法及其适用场景，强调了模型性能评估的标准和基准测试的重要性。通过这些设计，研究者可以更好地理解和应用模型融合技术。
🖼️ 关键图片
📊 实验亮点
本文通过系统的文献回顾和分类，明确了模型融合的研究方向和挑战，为后续研究提供了重要的参考。具体的性能数据和基准测试结果尚未提供，未来研究可进一步验证该框架的有效性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等。通过有效的模型融合，可以提升模型的综合性能，满足多样化的应用需求，推动智能系统的进一步发展。
📄 摘要（原文）
Model fusion integrates the capabilities from source models into a single target model. As of June 2026, Hugging Face hosts more than 2M models. This growing pool provides a rich base for model reuse and capability integration. Yet existing surveys often cover only separate parts of this space, and they do not provide a unified definition or a systematic taxonomy. This survey defines model fusion and organizes prior work into three levels: parameter-level, representation-level, and behavior-level fusion. We also review related metrics, benchmarks, and applications, summarize current challenges, and identify future directions. Our goal is to provide a clear map of this area and support future work on model fusion. A comprehensive list of papers about model fusion is available at https://github.com/Baicaihaochi/Awesome-Model-Fusion-Survey.