Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective
作者: Jiahe Fan, Yinghao Hou, Si Chen, Aiyuan Zhang, Hong Xie, Defu Lian
分类: cs.AI
发布日期: 2026-07-20
备注: 17 pages, 3 figures, 20 tables, preprint
💡 一句话要点
提出基于加权模型平均的异构大语言模型合并方法
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 异构模型合并 加权平均 维度适配 自然语言处理 性能提升
📋 核心要点
- 现有的异构大语言模型融合方法通常依赖复杂机制，难以实现简单有效的合并。
- 论文提出通过无训练的维度适配和比例控制的插值方法，探讨简单的加权平均是否可行。
- 实验结果显示，简单参数平均与轻量级适配结合，能在多个任务上实现性能提升，但也存在能力的权衡效应。
📝 摘要（中文）
本研究探讨了是否可以通过直接加权平均的方式合并具有显著不同参数空间的大语言模型，而无需训练或语义对齐。现有的异构融合方法通常依赖于蒸馏、适配器、学习的潜在空间、路由或特征对齐等复杂机制。我们通过无训练的维度适配和比例控制的插值方法重新审视这一问题。实验结果表明，简单的参数平均结合轻量级的维度适配和精确控制的比例，能够成为异构大语言模型合并的强基线，暗示直接加权融合的局限性可能也限制了更复杂的异构合并方法在大规模应用中的效果。
🔬 方法详解
问题定义：本研究旨在解决如何有效合并具有不同参数空间的大语言模型的问题。现有方法通常依赖复杂的机制，如蒸馏和特征对齐，导致实现上的困难和效率低下。
核心思路：论文提出了一种新的方法，通过无训练的维度适配和比例控制的插值，探索简单的加权平均是否能够有效合并异构模型。该方法的设计旨在简化合并过程，同时保持模型性能。
技术框架：整体流程包括两个主要阶段：首先进行维度适配，将较小模型扩展到较大模型的参数空间；其次进行比例控制的插值，确保合并后的模型能够有效保留源模型的功能。
关键创新：最重要的创新在于提出了一种无需训练的简单参数平均方法，结合轻量级的维度适配，显著简化了异构模型的合并过程。这与现有方法的复杂性形成鲜明对比。
关键设计：在参数设置上，采用了比例控制的插值策略，确保在合并过程中能够有效转移互补能力。同时，设计了适配机制以适应不同模型的维度差异，确保合并后的模型在多个任务上表现出色。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用简单的参数平均方法结合轻量级的维度适配，能够在多个基准测试中实现性能提升。例如，在数学推理和语言理解任务上，合并后的模型在某些能力上超过了强源模型，显示出互补能力的有效转移。然而，接近平衡的插值往往会导致性能下降，体现出能力之间的权衡效应。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、代码生成和知识推理等多个任务。通过简化异构模型的合并过程，能够提高模型的适应性和性能，具有重要的实际价值和广泛的应用前景，尤其是在需要集成多种能力的场景中。
📄 摘要（原文）
Can large language models with substantially different parameter spaces be merged by direct weighted averaging, without training or semantic alignment? Existing heterogeneous fusion methods typically introduce distillation, adapters, learned latent spaces, routing, or feature alignment, leaving open whether a simpler recipe can work for genuinely different billion-parameter checkpoints. We revisit this counterintuitive question through training-free dimensional adaptation followed by ratio-controlled interpolation. In union-style merging, we expand the smaller model into the larger parameter space; in intersection-style merging, we truncate the larger model into the smaller parameter space. Across Qwen-family model pairs and benchmarks covering mathematical reasoning, code generation, language understanding, commonsense reasoning, knowledge, and instruction following, deterministic expansion largely preserves the source model function, and small-ratio interpolation can improve over strong source checkpoints by transferring complementary capabilities. However, near-balanced interpolation often collapses, and task-level results reveal a seesaw effect in which gains on some capabilities coexist with regressions on others. These results show that simple parameter averaging, when paired with lightweight dimensional adaptation and carefully controlled ratios, is a surprisingly strong baseline for heterogeneous LLM merging, suggesting that the limits of direct weighted fusion may also bound what more complex heterogeneous merging methods can achieve at scale.