Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models

📄 arXiv: 2412.12865v1 📥 PDF

作者: Yuchen Fan, Yuzhong Hong, Qiushi Wang, Junwei Bao, Hongfei Jiang, Yang Song

分类: cs.CL

发布日期: 2024-12-17

备注: AAAI2025, 12 pages, 9 figures

💡 一句话要点

提出偏好导向的监督微调方法以提升模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏好导向 监督微调 大型语言模型 数据质量 模型训练 自然语言处理 性能提升

📋 核心要点

  1. 现有的监督微调方法依赖于高质量的指令-响应对，但数据集的质量难以保证，影响模型性能。
  2. 本文提出的偏好导向监督微调方法（PoFT）通过偏向目标模型，提升了模型在相同数据上的预测能力。
  3. 实验结果显示，PoFT在多个基线模型上均取得了显著的性能提升，验证了其有效性。

📝 摘要（中文）

对大型语言模型（LLM）进行对齐，使其能够遵循指令，对于实际应用至关重要。传统的监督微调（SFT）方法通常依赖于大量高质量的指令-响应对，但由于创建和维护这些数据集的高成本，其质量难以保证。为了解决这一问题，本文提出了一种新的偏好导向监督微调方法（PoFT），其核心思想是通过在相同的SFT数据上偏向目标模型而非对齐的LLM，来提升SFT的效果。实验结果表明，PoFT在不同训练数据集和基础模型上均实现了稳定且一致的性能提升，并且可以与现有的数据过滤方法结合使用，进一步提高性能。

🔬 方法详解

问题定义：本文旨在解决传统监督微调方法对高质量数据集的依赖问题。现有方法通常使用交叉熵目标进行训练，但数据集的质量难以保证，导致模型性能受限。

核心思路：PoFT的核心思路是通过引入偏好机制，鼓励目标模型在相同的SFT数据上预测出比对齐的LLM更高的概率。这种设计旨在利用对齐LLM的预测信息来提升目标模型的训练效果。

技术框架：PoFT的整体架构包括数据准备、模型训练和评估三个主要阶段。在数据准备阶段，利用对齐LLM的预测结果来评估数据质量；在模型训练阶段，通过引入偏好损失函数来优化目标模型；最后，在评估阶段，比较目标模型与基线模型的性能。

关键创新：PoFT的主要创新在于引入了偏好导向的训练机制，这与传统的SFT方法本质上不同，后者通常只关注模型的直接输出，而忽略了数据质量的影响。

关键设计：在损失函数的设计上，PoFT引入了一个新的偏好损失项，旨在最大化目标模型的预测概率与对齐LLM的预测概率之间的差异。此外，PoFT还可以与现有的数据过滤方法结合使用，以进一步提升模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PoFT在多个基线模型上实现了稳定的性能提升，具体表现为在不同训练数据集上相较于传统SFT方法的提升幅度达到了5%-15%。此外，PoFT与现有数据过滤方法结合后，进一步提高了模型的整体性能，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过提升模型在指令遵循任务中的表现，PoFT可以为实际应用提供更高的准确性和可靠性，进而推动智能系统的广泛应用与发展。

📄 摘要（原文）

Alignment, endowing a pre-trained Large language model (LLM) with the ability to follow instructions, is crucial for its real-world applications. Conventional supervised fine-tuning (SFT) methods formalize it as causal language modeling typically with a cross-entropy objective, requiring a large amount of high-quality instruction-response pairs. However, the quality of widely used SFT datasets can not be guaranteed due to the high cost and intensive labor for the creation and maintenance in practice. To overcome the limitations associated with the quality of SFT datasets, we introduce a novel \textbf{p}reference-\textbf{o}riented supervised \textbf{f}ine-\textbf{t}uning approach, namely PoFT. The intuition is to boost SFT by imposing a particular preference: \textit{favoring the target model over aligned LLMs on the same SFT data.} This preference encourages the target model to predict a higher likelihood than that predicted by the aligned LLMs, incorporating assessment information on data quality (i.e., predicted likelihood by the aligned LLMs) into the training process. Extensive experiments are conducted, and the results validate the effectiveness of the proposed method. PoFT achieves stable and consistent improvements over the SFT baselines across different training datasets and base models. Moreover, we prove that PoFT can be integrated with existing SFT data filtering methods to achieve better performance, and further improved by following preference optimization procedures, such as DPO.