Massive Supervised Fine-tuning Experiments Reveal How Data, Layer, and Training Factors Shape LLM Alignment Quality

📄 arXiv: 2506.14681v2 📥 PDF

作者: Yuto Harada, Yusuke Yamauchi, Yusuke Oda, Yohei Oseki, Yusuke Miyao, Yu Takagi

分类: cs.CL

发布日期: 2025-06-17 (更新: 2025-10-30)

备注: Accepted to EMNLP 2025 (Main Conference). Models and evaluation results available at: https://github.com/llm-jp/massive-sft

🔗 代码/项目: GITHUB

💡 一句话要点

通过大规模监督微调实验揭示数据与训练因素对LLM对齐质量的影响

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 监督微调 对齐质量 困惑度 模型特性 性能提升 数据集分析

📋 核心要点

  1. 现有的监督微调方法对大型语言模型的对齐质量影响因素尚不明确，导致模型性能不稳定。
  2. 本研究通过训练多种基础模型并分析数据集特性，提出了模型特定的微调策略以提高对齐质量。
  3. 实验结果表明，困惑度是预测SFT有效性的可靠指标，中间层权重变化与性能提升相关性最强。

📝 摘要（中文）

监督微调（SFT）是将大型语言模型（LLMs）与人类指令和价值观对齐的重要步骤，但许多SFT的方面仍然不够清晰。我们在多种数据集上训练了广泛的基础模型，包括代码生成、数学推理和通用任务，结果生成了1000多个SFT模型。我们识别出最重要的数据集特性，并考察了SFT引入的层级修改。研究发现某些训练任务的协同效应在所有模型中持续存在，而其他则有显著差异，强调了模型特定策略的重要性。此外，我们展示了困惑度（perplexity）能够持续预测SFT的有效性，通常超越训练数据与基准之间的表面相似性，而中间层权重的变化与性能提升的相关性最强。我们发布了这些1000多个SFT模型及基准结果，以加速后续研究。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型（LLMs）在监督微调（SFT）过程中对齐质量不稳定的问题。现有方法对影响因素的理解不足，导致模型性能差异显著。

核心思路：通过训练多种基础模型并在多样化数据集上进行微调，识别出影响SFT效果的关键数据集特性，并分析层级修改的影响。

技术框架：研究首先在控制条件下训练了1000多个SFT模型，随后通过对比分析不同模型在特定任务上的表现，探讨数据集特性与模型层级修改的关系。

关键创新：本研究的创新点在于揭示了困惑度作为预测SFT有效性的指标，其有效性超越了训练数据与基准的表面相似性。此外，发现中间层权重变化与性能提升的强相关性。

关键设计：在实验中，采用了多种数据集进行训练，设置了不同的超参数，并对模型的中间层权重进行了详细分析，以评估其对最终性能的影响。具体的损失函数和网络结构设计也经过精心调整，以确保模型能够有效学习。

📊 实验亮点

实验结果显示，困惑度是预测SFT有效性的可靠指标，其效果通常优于训练数据与基准之间的表面相似性。中间层权重的变化与性能提升之间的相关性最强，强调了模型特定策略的重要性。研究发布的1000多个SFT模型为后续研究提供了宝贵的资源。

🎯 应用场景

该研究的成果可广泛应用于自然语言处理领域，特别是在需要将大型语言模型与人类价值观和指令对齐的任务中。通过优化微调策略，能够提升模型在实际应用中的表现，促进人机交互的自然性和有效性。未来，研究成果也可能推动更高效的模型训练方法和对齐策略的开发。

📄 摘要（原文）

Supervised fine-tuning (SFT) is a critical step in aligning large language models (LLMs) with human instructions and values, yet many aspects of SFT remain poorly understood. We trained a wide range of base models on a variety of datasets including code generation, mathematical reasoning, and general-domain tasks, resulting in 1,000+ SFT models under controlled conditions. We then identified the dataset properties that matter most and examined the layer-wise modifications introduced by SFT. Our findings reveal that some training-task synergies persist across all models while others vary substantially, emphasizing the importance of model-specific strategies. Moreover, we demonstrate that perplexity consistently predicts SFT effectiveness, often surpassing superficial similarity between the training data and the benchmark, and that mid-layer weight changes correlate most strongly with performance gains. We release these 1,000+ SFT models and benchmark results to accelerate further research. All resources are available at https://github.com/llm-jp/massive-sft.