Predicting and Repairing Merge Collapse in Large Language Models
作者: Jungseob Lee, Seungyoon Lee, Sugyeong Eo, Hyeonseok Moon, Jaehyung Seo, Heuiseok Lim
分类: cs.LG, cs.CL
发布日期: 2026-10-02
备注: 23 pages, 5 figures, 20 tables
🔗 代码/项目: GITHUB
💡 一句话要点
提出PRISM以解决大语言模型合并崩溃问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 模型合并 性能预测 干扰度 PRISM操作符 自然语言处理 深度学习
📋 核心要点
- 现有的合并方法在合并后未能有效预测和避免性能崩溃，导致模型效果下降。
- 本文提出了一种新的合并操作PRISM，通过先平均任务向量再进行软阈值处理，解决了合并崩溃问题。
- 在22种合并配置的实验中，PRISM成功保持所有破坏性合并的性能高于基准模型的阈值，显示出显著的提升。
📝 摘要（中文）
大语言模型在共享基础上进行微调后，可以通过平均其任务向量进行合并，但某些合并会导致性能显著下降。本文展示了一种统计量，既能预测这种崩溃，又能校准其修复。我们提出的PRISM操作符在合并前先平均任务向量，然后根据干扰水平对每一层进行软阈值处理。实验结果表明，PRISM在评估噪声范围内保持所有五个破坏性合并的性能高于阈值，而简单平均则至少下降14.4分或完全崩溃。代码可在https://github.com/js-lee-AI/PRISM获取。
🔬 方法详解
问题定义：本文旨在解决大语言模型合并时出现的性能崩溃问题，现有方法无法有效预测合并后的结果，导致模型性能下降。
核心思路：我们提出了一种新的统计量来预测合并崩溃，并设计了PRISM操作符，通过先平均任务向量再进行软阈值处理，来修复潜在的崩溃。
技术框架：整体流程包括计算任务向量的干扰度，评估合并前的得分，并在此基础上应用PRISM操作符进行合并。主要模块包括干扰度计算、得分评估和合并操作。
关键创新：PRISM操作符是本文的核心创新，它通过考虑干扰度来动态调整合并策略，与传统的简单平均方法相比，能够有效避免性能崩溃。
关键设计：在PRISM中，合并操作的阈值设置基于干扰度，确保所有破坏性合并的性能高于基准模型的阈值，而对于无害合并则使用简单平均，从而实现了灵活的合并策略。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PRISM在22种合并配置中，成功保持所有五个破坏性合并的性能高于基准模型的阈值，而简单平均方法则至少下降14.4分或完全崩溃，展示了显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等场景。通过有效的模型合并策略，能够提升大语言模型的性能和稳定性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Large language models fine-tuned from a shared base can be merged by averaging their task vectors, but some merges collapse far below the base model, and common merge operators give no warning before evaluation. We show that one statistic of the specialists' task vectors both predicts this collapse and calibrates its repair. The power that averaging removes equals the variance of the task vectors across specialists, our measure of interference. Under a working noise model, the disturbance that a merge injects grows with the merge coefficient and with interference, yielding a pre-merge score. In our experiments on twenty-two merge configurations from four model families, only destructive merges exceed a threshold on this score. We find that statistics of sign conflict between specialists, a common target of existing merge operators, are anti-predictive. We then predicted the outcomes of fourteen merges before evaluating them, and twelve predictions were correct, including the destructive outcome of a specialist pair pushed past the threshold by continued pretraining. To address this collapse, we introduce PRISM, an operator that averages the task vectors first and then soft-thresholds each layer at a level set by the layer's interference. Without data or tuning, PRISM keeps all five destructive merges above the threshold within evaluation noise of the base model, where plain averaging falls at least 14.4 points below it or collapses entirely. We apply PRISM only above the threshold and keep the plain average for merges below it, which include all fifteen harmless ones. Code is available at https://github.com/js-lee-AI/PRISM.