Stronger Models are NOT Stronger Teachers for Instruction Tuning

📄 arXiv: 2411.07133v3 📥 PDF

作者: Zhangchen Xu, Fengqing Jiang, Luyao Niu, Bill Yuchen Lin, Radha Poovendran

分类: cs.AI, cs.CL

发布日期: 2024-11-11 (更新: 2025-02-26)

备注: This is paper is accepted at NAACL 2025

💡 一句话要点

挑战指令调优中“更强模型即更强教师”的假设，提出兼容性调整奖励CAR。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指令调优 大型语言模型 合成数据 教师模型 兼容性调整奖励 模型蒸馏 更大模型的悖论

📋 核心要点

  1. 现有指令调优方法通常假设更强大的模型能生成更好的训练数据，但该假设缺乏充分验证。
  2. 论文提出“更大模型的悖论”，即更强的模型不一定能作为更好的教师模型来提升学生模型。
  3. 论文提出兼容性调整奖励(CAR)指标，用于评估教师模型与学生模型的兼容性，并验证了其有效性。

📝 摘要（中文）

指令调优已被广泛采用，以确保大型语言模型(LLM)有效地遵循用户指令。LLM的指令遵循能力在很大程度上依赖于用于调优的指令数据集。最近，合成指令数据集已成为一种经济可行的解决方案，为LLM提供多样化和高质量的指令。然而，现有的方法通常假设更大或更强的模型是更强的指令调优教师，因此简单地采用这些模型作为合成指令的响应生成器。在本文中，我们挑战了这种普遍采用的假设。我们对五个基础模型和二十个响应生成器进行的大量实验表明，更大更强的模型不一定是更强的小模型教师。我们将这种现象称为“更大模型的悖论”。我们观察到，现有的指标无法精确预测响应生成器的有效性，因为它们忽略了教师和正在微调的基础模型之间的兼容性。因此，我们开发了一种名为兼容性调整奖励(CAR)的新指标来衡量响应生成器的有效性。我们对五个基础模型的实验表明，CAR优于几乎所有基线。

🔬 方法详解

问题定义：现有指令调优方法通常直接采用更大更强的模型来生成合成指令数据，并以此来训练较小的模型。这种方法隐含地假设了更强的模型总是能提供更好的训练信号。然而，这种假设缺乏实验验证，并且可能导致次优的训练结果。现有评估指标也无法准确衡量教师模型对于特定学生模型的有效性。

核心思路：论文的核心在于挑战“更强模型即更强教师”的假设，并提出教师模型与学生模型之间的“兼容性”是影响指令调优效果的关键因素。通过引入兼容性概念，可以更准确地评估教师模型的质量，并选择最适合特定学生模型的教师。

技术框架：论文主要通过实验来验证核心观点，并提出CAR指标。实验流程包括：1）选择多个不同规模和能力的LLM作为基础模型（学生模型）；2）选择多个不同的LLM作为响应生成器（教师模型），生成合成指令数据；3）使用不同的教师模型生成的数据对学生模型进行指令调优；4）使用现有指标和提出的CAR指标评估不同教师模型的有效性；5）对比不同教师模型训练出的学生模型的性能。

关键创新：论文最重要的创新点在于提出了“更大模型的悖论”这一概念，并强调了教师模型与学生模型之间的兼容性。CAR指标是基于兼容性概念设计的，能够更准确地预测教师模型的有效性。

关键设计：CAR指标的具体计算方式未知，摘要中没有详细描述。但其核心思想是衡量教师模型生成的响应与学生模型能力之间的匹配程度。CAR指标的设计需要考虑学生模型的先验知识、学习能力以及教师模型提供的知识的难度和相关性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，更大更强的模型不一定是更好的教师模型。CAR指标在预测教师模型的有效性方面优于现有指标，能够更准确地选择适合特定基础模型的教师模型。具体性能提升数据未知，需要在论文正文中查找。

🎯 应用场景

该研究成果可应用于优化指令调优流程，选择更合适的教师模型，从而提升小规模LLM的性能，降低训练成本。此外，CAR指标可以作为评估合成数据质量的重要参考，指导合成数据生成策略，提升数据质量和多样性。

📄 摘要（原文）

Instruction tuning has been widely adopted to ensure large language models (LLMs) follow user instructions effectively. The resulting instruction-following capabilities of LLMs heavily rely on the instruction datasets used for tuning. Recently, synthetic instruction datasets have emerged as an economically viable solution to provide LLMs diverse and high-quality instructions. However, existing approaches typically assume that larger or stronger models are stronger teachers for instruction tuning, and hence simply adopt these models as response generators to the synthetic instructions. In this paper, we challenge this commonly-adopted assumption. Our extensive experiments across five base models and twenty response generators reveal that larger and stronger models are not necessarily stronger teachers of smaller models. We refer to this phenomenon as the Larger Models' Paradox. We observe that existing metrics cannot precisely predict the effectiveness of response generators since they ignore the compatibility between teachers and base models being fine-tuned. We thus develop a novel metric, named as Compatibility-Adjusted Reward (CAR) to measure the effectiveness of response generators. Our experiments across five base models demonstrate that CAR outperforms almost all baselines.