Fine-Tuning Fixes Mode Collapse and Over-Dispersion in LLMs

📄 arXiv: 2609.16454v1 📥 PDF

作者: Kirill Skobelev, Eric Fithian, X. Y. Han

分类: cs.AI

发布日期: 2026-09-15

💡 一句话要点

提出细化调优以解决大语言模型的模式崩溃与过度分散问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 模式崩溃 监督细化调优 输出多样性 偏差-方差分解

📋 核心要点

  1. 现有的大语言模型在生成响应时常出现模式崩溃，导致输出缺乏多样性，影响实际应用效果。
  2. 本文提出通过充分的监督细化调优（SFT）来改善模型的输出多样性，使其更接近目标分布。
  3. 实验结果表明，增加目标数据能够有效提升模型的多样性，验证了理论上的推导与预期一致。

📝 摘要（中文）

近期的研究表明，大语言模型（LLMs）的输出往往缺乏多样性，表现为模式崩溃现象，即生成的响应相似度过高。本文展示了模式崩溃与其对立现象的发生依赖于具体的模型和数据集。通过充分的监督细化调优（SFT）数据，LLM的输出多样性趋向于目标分布。我们通过测量相同固定提示下独立采样的两个响应的重合概率，量化了这种比较，并推导出模型与目标之间的偏差-方差分解。最后，实验结果表明，更多的目标数据能有效提升模型的多样性，验证了我们的理论预测。

🔬 方法详解

问题定义：本文旨在解决大语言模型在生成响应时出现的模式崩溃和过度分散问题。现有方法在有限样本情况下，模型输出的多样性往往无法有效反映目标分布，导致生成内容的重复性和相似性过高。

核心思路：论文的核心思路是通过充分的监督细化调优（SFT）数据来提升模型的输出多样性。通过对比模型输出与目标分布的重合概率，分析模型的多样性表现。

技术框架：整体架构包括数据采集、模型训练和输出评估三个主要阶段。首先，收集足够的目标数据进行细化调优；其次，使用这些数据对模型进行训练；最后，通过重合概率和相似性度量评估模型输出的多样性。

关键创新：最重要的技术创新在于推导出模型与目标分布之间的偏差-方差分解，揭示了细化调优并不固有地偏向于模式崩溃或其对立现象，而是依赖于具体的模型和数据集。

关键设计：在实验中，采用了不同的损失函数和网络结构，确保模型在细化调优过程中能够有效学习目标分布的特征。同时，设计了多种实验以验证理论推导的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，随着目标数据的增加，模型的输出多样性显著提升。在小型变换器和四个经过人类调查细化调优的LLM实验中，模型的多样性向人类或合成目标水平靠近，验证了理论预测的准确性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过改善大语言模型的输出多样性，可以提升其在实际应用中的表现，使其生成的内容更加丰富和多样，进而增强用户体验和模型的实用性。

📄 摘要（原文）

Recent work by Doshi and Hauser (2024), Bisbee et al. (2024), and Xie et al. (2026) raises concerns that outputs from large language models (LLMs) tend to be under-diverse: they repeat or resemble one another more often than responses from the population they are meant to represent, a phenomenon known as mode collapse. In this work, we show that whether mode-collapse, or its opposite, occurs depends on the specific model and dataset used. Further, with sufficient supervised fine-tuning (SFT) data, LLM output diversity converges toward that of the target distribution from which fine-tuning data are sampled. To quantify this comparison, we measure the probability that two responses sampled independently from the same fixed prompt coincide (collide), or their expected similarity under a kernel. We derive a bias-variance decomposition of the expected gap between the model's and target's collision probabilities, showing that SFT is not inherently biased toward mode collapse or its opposite: finite-sample SFT can leave a model either under- or over-dispersed, depending on the model and dataset. Finally, we show that the absolute gap is bounded by the square root of the Kullback-Leibler (KL) divergence from the target distribution to the model. Consequently, a model sufficiently close to optimal under population cross-entropy cannot exhibit arbitrarily miscalibrated diversity. We test the decomposition and the bound in three experiments: small transformers on synthetic languages, four LLMs fine-tuned on human surveys, and these LLMs fine-tuned on CodeNet, a dataset of human code solutions. More target data moves model diversity toward the human (or synthetic target) level in all experiments, consistent with our theoretical predictions. These results show that diversity miscalibration can arise from finite-sample error and shrink as SFT better approximates the target distribution.