Mixture-Trained Merging for Unified Multi-Objective Models
作者: SeongHyeon Kim, Chaeyun Jang, Seungyoo Lee, Jiyeon Ham, Yunju Bak, Boseop Kim, Juho Lee
分类: cs.LG
发布日期: 2026-10-01
备注: Accepted at NeurIPS 2026
💡 一句话要点
提出混合训练合并方法以解决多目标模型的兼容性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多目标模型 混合训练 模型合并 贝叶斯优化 自然语言处理
📋 核心要点
- 现有的多目标模型训练方法对训练顺序和数据比例敏感，导致模型性能不稳定。
- 提出的混合训练合并方法通过目标偏向的数据混合训练，提高了模型分支的兼容性。
- MTM在多个任务上表现优异，保持了不同目标的行为分离，显著提升了模型的整体性能。
📝 摘要（中文）
统一语言模型越来越被期望在单一参数集内结合多种异构能力，如数学、代码、指令跟随和可控思维行为。现有的解决方案通常是对多个目标进行顺序后训练，但这种方法会使最终模型对训练顺序、数据比例、调度和停止标准高度敏感。本文提出的混合训练合并（MTM）方法通过对每个分支进行目标偏向的数据混合训练，增强了跨目标交互，使得分支在合并时更具兼容性。MTM在代码、数学、指令跟随和思维控制等任务上超越了简单合并，保持了行为的分离性，表明有效的统一模型需要经过可合并训练的分支。
🔬 方法详解
问题定义：本文旨在解决统一多目标模型在训练过程中对训练顺序和数据比例的敏感性问题。现有的顺序后训练方法和简单的权重空间合并常导致模型性能下降或行为模式混合。
核心思路：提出的混合训练合并（MTM）方法通过对每个分支进行目标偏向的数据混合训练，增强了不同目标之间的交互，从而提高了分支在合并时的兼容性。
技术框架：MTM的整体流程包括多个阶段：首先，使用全局选择的合并系数提升基础模型；其次，在保持其他目标的约束下，使用领域偏好的系数细化每个分支的混合。最后，采用基于qNEHVI的多目标贝叶斯优化来扩展搜索范围。
关键创新：MTM的核心创新在于通过目标偏向的数据混合训练，使得不同目标的分支在合并时能够保持兼容性，避免了简单合并导致的性能下降。
关键设计：在参数设置上，MTM使用了全局选择的合并系数和领域偏好的系数，确保在合并过程中能够有效保留各个目标的特性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MTM在代码、数学、指令跟随和思维控制等任务上均优于简单合并方法，保持了行为的分离性，提升幅度显著，具体性能数据未提供，但相较于基线方法表现出明显优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、编程助手和智能教育等，能够为多任务学习提供更为有效的模型训练方法。未来，MTM方法有望在更广泛的多目标模型中推广应用，提升其在复杂任务中的表现。
📄 摘要（原文）
Unified language models are increasingly expected to combine heterogeneous capabilities, such as mathematics, code, instruction following, and controllable thinking behavior, within a single set of parameters. A common solution is sequential post-training on multiple objectives, but this entangles all objectives along one optimization trajectory and makes the final model highly sensitive to training order, data ratios, schedules, and stopping criteria. Weight-space merging offers a modular alternative, but naive merging of single-objective experts often fails: domain capabilities degrade sharply, or think/non-think modes collapse into one dominant behavior. We attribute both failures to incompatible weight-space geometry: experts trained on single objectives drift to distant regions of parameter space, placing their interpolations outside any shared low-loss basin. We propose Mixture-Trained Merging (MTM), which trains each branch on an objective-biased data mixture rather than a single objective, exposing it to cross-objective interactions and making branches compatible at merge time. MTM uses merged-model evaluations as a low-cost signal for selecting branch mixtures, avoiding expensive data-mixture ablations. The procedure is iterative: each round promotes the base model using globally selected merge coefficients and refines each branch mixture using domain-preferred coefficients under constraints that preserve other objectives. To scale beyond simplex grid search, MTM uses qNEHVI-based multi-objective Bayesian optimization. Across code, mathematics, instruction following, and think/non-think control, MTM outperforms naive merging and preserves behavioral separation where single-objective merging collapses, suggesting that effective unified models require branches trained to be mergeable.