Controlling the Diversity-Quality Trade-Off of LLMs by Merging Models Before and After Alignment

📄 arXiv: 2610.22999v1 📥 PDF

作者: Yasuaki Sumita, Tomoharu Iwata, Toshiyuki Tanaka

分类: cs.CL, cs.LG

发布日期: 2026-10-16

备注: 13 pages, 5 figures

💡 一句话要点

提出深度感知FrankenMerging以优化LLMs的多样性与质量平衡

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 多样性与质量 模型合并 深度学习 自然语言处理

📋 核心要点

  1. 现有方法在调整大型语言模型的多样性与质量之间的平衡时，通常需要昂贵的微调或仅改善词汇多样性。
  2. 论文提出了一种深度感知FrankenMerging方法，通过合并对齐模型的低层与基础模型的高层，控制多样性与质量的权衡。
  3. 实验结果表明，合并模型在语义多样性和词汇多样性上均优于原始模型，并在多样性-质量权衡上优于温度采样。

📝 摘要（中文）

对齐已知会改变大型语言模型（LLMs）的输出特性。基础模型倾向于生成更多样化的输出，而对齐模型则更能产生高质量的输出。适当的平衡取决于具体任务。现有方法要么需要昂贵的微调，要么像温度采样一样，主要改善词汇多样性而非语义多样性。我们提出了一种深度感知FrankenMerging方法，通过在不额外训练的情况下控制对齐模型与基础模型之间的多样性-质量权衡。该方法基于假设：词汇多样性与低层更相关，而语义多样性与高层更相关。实验表明，调整每个模型所取层数可以同时调整多样性和质量。大多数情况下，合并模型表现出比对齐模型更高的语义多样性，并在某些分割位置上显示出比原始模型更高的词汇多样性。它们在大多数设置中也展示了比温度采样更好的多样性-质量权衡。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型（LLMs）在多样性与质量之间的权衡问题。现有方法往往需要昂贵的微调，或仅能改善词汇多样性，未能有效提升语义多样性。

核心思路：论文提出的FrankenMerging方法通过合并对齐模型的低层与基础模型的高层，利用低层与词汇多样性、高层与语义多样性之间的关联性，来优化多样性与质量的平衡。

技术框架：该方法的整体架构包括两个主要阶段：首先，从对齐模型中提取低层，然后从基础模型中提取高层，最后将这两部分进行合并。

关键创新：最重要的技术创新在于提出了深度感知FrankenMerging方法，能够在不进行额外训练的情况下有效调整多样性与质量的权衡，这与现有的微调或简单采样方法有本质区别。

关键设计：在合并过程中，关键参数包括选择的层数和合并的顺序。实验中通过调整所取层数，发现可以有效控制合并模型的多样性和质量，且在不同的分割位置上表现出不同的性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，合并模型在大多数设置中展现出比对齐模型更高的语义多样性，并在某些情况下比原始模型更具词汇多样性。此外，FrankenMerging方法在多样性-质量权衡上优于传统的温度采样，提供了更优的性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过优化多样性与质量的平衡，FrankenMerging方法能够提升生成模型在特定任务中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Alignment is known to change the output characteristics of large language models (LLMs). Base models tend to generate more diverse outputs, whereas aligned models tend to produce higher-quality outputs. The appropriate balance between the two depends on the task. Existing methods either require costly fine-tuning or, like temperature sampling, mainly improve lexical diversity rather than semantic diversity. We introduce a depth-aware FrankenMerging approach for controlling the diversity--quality trade-off between an aligned model and its base model without additional training. This approach combines the lower layers of an aligned model with the higher layers of its base model based on the hypothesis that lexical diversity is more closely associated with lower layers and semantic diversity with higher layers. Experiments showed that varying the number of layers taken from each model adjusts both diversity and quality. In most cases, the merged models exhibited higher semantic diversity than the aligned model, and at some split positions, they showed higher lexical diversity than both original models. They also demonstrated a better diversity--quality trade-off than temperature sampling in most settings. A supporting ablation, in which we reversed the merging order, yielded results largely consistent with the hypothesis.