SLIM: Simplex-Lattice Interpolation Merging

📄 arXiv: 2610.01037v1 📥 PDF

作者: Seongcheol Jeong, Masahiro Suzuki, Yutaka Matsuo

分类: cs.LG

发布日期: 2026-10-01

💡 一句话要点

提出SLIM以优化大语言模型的合并系数评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 合并系数 性能优化 机器学习 模型评估 二次代理 混合设计

📋 核心要点

  1. 现有方法在优化大语言模型合并系数时需要大量昂贵的基准评估，效率低下。
  2. SLIM通过构建聚合性能的二次代理，利用经典混合设计减少评估次数，优化合并过程。
  3. 实验结果表明，SLIM在有限预算下能够准确预测多专家混合，且合并性能具有竞争力。

📝 摘要（中文）

优化大语言模型的合并系数通常需要大量昂贵的基准评估。本文提出了简单x-格插值合并（SLIM），通过经典的混合设计构建系数单纯形上聚合性能的二次代理。个体专家和等权重对的评估确定了代理，所需测量次数最少，以识别该领域的一般二次函数。SLIM随后在不进行进一步目标度量评估的情况下优化代理。在两种模型架构上的实验表明，SLIM能够准确预测未见的多专家混合，并在有限评估预算下实现竞争性的合并性能。匹配预算的比较显示，结构化评估点在预测精度上优于随机设计，包括那些使用正则化拟合的设计。

🔬 方法详解

问题定义：本文旨在解决在优化大语言模型合并系数时所需的高昂基准评估成本。现有方法往往依赖大量评估，导致效率低下和资源浪费。

核心思路：SLIM的核心思想是构建一个聚合性能的二次代理模型，通过最小化评估次数来识别系数单纯形上的一般二次函数，从而优化合并过程。

技术框架：SLIM的整体架构包括两个主要阶段：首先，通过评估个体专家和等权重对来确定代理模型；其次，在不进行进一步目标度量评估的情况下优化该代理。

关键创新：SLIM的主要创新在于使用经典混合设计来构建性能代理，从而显著减少了所需的测量次数，与传统方法相比，提升了效率和准确性。

关键设计：在SLIM中，关键参数设置包括选择合适的评估点和设计矩阵，以确保代理模型的准确性。此外，采用的损失函数和优化算法经过精心设计，以提高合并性能的预测能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，SLIM在两种模型架构上能够准确预测未见的多专家混合，且在有限评估预算下实现了竞争性的合并性能。与随机设计相比，结构化评估点显著提高了预测精度，验证了SLIM方法的有效性。

🎯 应用场景

SLIM的研究成果在大语言模型的优化和合并中具有广泛的应用潜力，尤其是在资源有限的情况下。其方法可以应用于多种机器学习任务，如模型蒸馏、集成学习等，提升模型性能和效率。未来，SLIM有望推动更高效的模型评估和优化策略的发展。

📄 摘要（原文）

Optimizing merging coefficients for large language models can require many costly benchmark evaluations. We propose \textbf{Simplex-Lattice Interpolation Merging (SLIM)}, which constructs a quadratic surrogate of aggregate performance on the coefficient simplex using a classical mixture design. Evaluations of individual experts and equal-weight pairs determine the surrogate with the minimum number of measurements needed to identify a general quadratic on this domain. SLIM then optimizes the surrogate without further target-metric evaluations. Experiments on two model architectures demonstrate accurate prediction of unseen multi-expert mixtures and competitive merge performance under limited evaluation budgets. Matched-budget comparisons show that structured evaluation points improve prediction fidelity over random designs, including those using regularized fitting.