Discriminative Finetuning of Generative Large Language Models without Reward Models and Human Preference Data

📄 arXiv: 2502.18679v3 📥 PDF

作者: Siqi Guo, Ilgee Hong, Vicente Balmaseda, Changlong Yu, Liang Qiu, Xin Liu, Haoming Jiang, Tuo Zhao, Tianbao Yang

分类: cs.CL

发布日期: 2025-02-25 (更新: 2025-07-23)

备注: 18 pages, 7 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出判别式微调(DFT)方法，无需奖励模型和人类偏好数据即可提升大语言模型性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 判别式学习 监督微调 偏好优化 无奖励模型 人类偏好数据 模型对齐 负样本学习

📋 核心要点

  1. SFT方法受限于生成式目标，忽略了负样本信息，导致模型对齐效果存在瓶颈。
  2. DFT方法采用判别式学习范式，显式建模正负样本的概率差异，提升模型判别能力。
  3. 实验表明，DFT性能优于SFT，并可与SFT结合偏好优化(PO)方法相媲美，无需人工标注数据或奖励模型。

📝 摘要（中文）

监督微调(SFT)已成为使用输入-输出对的监督数据集对齐预训练大语言模型(LLM)的关键步骤。然而，尽管是监督学习，SFT本质上受到其生成式训练目标的限制。为了解决这些限制，现有的常见策略是在SFT之后进行单独的偏好优化(PO)阶段，这依赖于人工标注的偏好数据或强大的奖励模型来指导学习过程。本文通过探索传统监督学习中最成功的技术之一：判别式学习，来解决SFT的局限性。我们引入了判别式微调(DFT)，它是SFT的改进变体，减轻了收集人工标注的偏好数据或训练强大的奖励模型的负担。与采用生成方法并忽略负数据的SFT不同，DFT采用判别式范式，增加正向答案的概率，同时抑制潜在的负向答案，旨在进行数据预测而不是token预测。我们的贡献包括：(i)一个判别式概率框架，用于通过显式建模给定输入的所有可能输出中答案的判别式似然来微调LLM；(ii)优化此判别式似然的有效算法；以及(iii)广泛的实验，证明了DFT的有效性，实现了优于SFT的性能，并且与SFT→PO相当甚至更好。

🔬 方法详解

问题定义：现有的大语言模型微调方法，特别是监督微调(SFT)，主要采用生成式学习范式，即最大化给定输入序列条件下目标输出序列的概率。这种方法忽略了负样本信息，并且在对齐人类偏好方面存在局限性。后续的偏好优化(PO)方法虽然可以提升对齐效果，但需要大量人工标注数据或训练复杂的奖励模型，成本较高。因此，如何高效地微调大语言模型，使其更好地对齐人类偏好，同时避免对人工标注数据或奖励模型的依赖，是一个亟待解决的问题。

核心思路：本文的核心思路是将判别式学习引入到大语言模型的微调过程中。与SFT的生成式目标不同，DFT旨在区分正确的答案和所有可能的错误答案。通过显式地建模给定输入条件下正确答案的判别式似然，DFT可以有效地利用负样本信息，提升模型的判别能力和对齐效果。这种方法的核心在于将微调过程视为一个分类问题，而不是一个生成问题。

技术框架：DFT的技术框架主要包括以下几个步骤：1) 数据准备：构建包含输入和对应答案的数据集。2) 判别式似然建模：定义给定输入条件下正确答案的判别式似然函数。3) 优化算法：设计高效的算法来最大化判别式似然函数，更新模型参数。4) 模型评估：使用合适的指标评估微调后的模型性能。整个框架的核心在于判别式似然函数的定义和优化算法的设计。

关键创新：DFT最重要的技术创新点在于引入了判别式学习范式，并将其应用于大语言模型的微调。与SFT的生成式目标不同，DFT显式地建模了正确答案和错误答案之间的概率差异，从而可以更有效地利用负样本信息。此外，DFT避免了对人工标注数据或奖励模型的依赖，降低了微调成本。

关键设计：DFT的关键设计包括：1) 判别式似然函数：论文中定义了一种基于softmax的判别式似然函数，用于衡量给定输入条件下正确答案的概率。2) 优化算法：论文提出了一种高效的优化算法，用于最大化判别式似然函数。该算法基于梯度下降，并采用了一些技巧来加速收敛。3) 负样本采样：为了有效地利用负样本信息，论文采用了一种负样本采样策略，选择与正确答案相似但不同的答案作为负样本。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DFT方法在多个数据集上均取得了优于SFT的性能。例如，在某些数据集上，DFT的性能提升幅度超过了5%。此外，DFT的性能可以与SFT结合偏好优化(PO)方法相媲美，甚至在某些情况下更优，而无需使用人工标注数据或训练奖励模型。这些结果表明，DFT是一种有效的、经济的大语言模型微调方法。

🎯 应用场景

DFT方法可广泛应用于各种需要大语言模型进行文本生成或对话的任务中，例如问答系统、文本摘要、机器翻译、代码生成等。该方法降低了对人工标注数据和奖励模型的依赖，使得大语言模型的微调更加高效和经济，有助于推动大语言模型在实际应用中的普及。

📄 摘要（原文）

Supervised fine-tuning (SFT) has become a crucial step for aligning pretrained large language models (LLMs) using supervised datasets of input-output pairs. However, despite being supervised, SFT is inherently limited by its generative training objective. To address its limitations, the existing common strategy is to follow SFT with a separate phase of preference optimization (PO), which relies on either human-labeled preference data or a strong reward model to guide the learning process. In this paper, we address the limitations of SFT by exploring one of the most successful techniques in conventional supervised learning: discriminative learning. We introduce Discriminative Fine-Tuning (DFT), an improved variant of SFT, which mitigates the burden of collecting human-labeled preference data or training strong reward models. Unlike SFT that employs a generative approach and overlooks negative data, DFT adopts a discriminative paradigm that increases the probability of positive answers while suppressing potentially negative ones, aiming for data prediction instead of token prediction. Our contributions include: (i) a discriminative probabilistic framework for fine-tuning LLMs by explicitly modeling the discriminative likelihood of an answer among all possible outputs given an input; (ii) efficient algorithms to optimize this discriminative likelihood; and (iii) extensive experiments demonstrating DFT's effectiveness, achieving performance better than SFT and comparable to if not better than SFT$\rightarrow$PO. The code can be found at https://github.com/Optimization-AI/DFT.