Binary Classifier Optimization for Large Language Model Alignment

📄 arXiv: 2404.04656v2 📥 PDF

作者: Seungjae Jung, Gunsoo Han, Daniel Wontae Nam, Kyoung-Woon On

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-04-06 (更新: 2025-06-09)

备注: ACL 2025 main

💡 一句话要点

提出二元分类器优化方法以解决大语言模型对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 用户反馈 二元分类器 模型对齐 直接偏好优化 机器学习 自然语言处理

📋 核心要点

  1. 现有的对齐方法依赖于用户提供正负反馈对，限制了实际应用中对用户反馈的利用。
  2. 本文提出的二元分类器优化（BCO）方法仅依赖于简单的二元反馈，训练分类器以最小化DPO损失。
  3. 实验结果表明，BCO在配对偏好数据集和真实用户查询数据集上均表现出色，与DPO方法相当，展示了其有效性。

📝 摘要（中文）

在实际服务中，如ChatGPT，基于用户反馈对模型进行对齐至关重要。然而，用户通常只提供简单的二元信号，如“点赞”或“点踩”。现有的对齐研究大多依赖于需要正负反馈对的偏好基础方法。本文提出了二元分类器优化（BCO）技术，能够仅使用二元反馈有效对齐大语言模型。BCO训练一个二元分类器，其中logit作为隐式奖励，有效地最小化直接偏好优化（DPO）损失。我们证明了分类器训练中使用的二元交叉熵损失作为DPO损失的上界。此外，新的奖励转移技术进一步缩小了损失之间的差距。我们在两个设置中验证了我们的方法：首先，在配对偏好数据集上，我们的方法与DPO表现相当；其次，在基于真实用户查询的Likert-5量表注释数据集上，我们的模型在四个基础大语言模型和三个不同数据集上始终展示出有效且稳健的对齐，展示了我们从二元信号中学习的强大能力。

🔬 方法详解

问题定义：本文旨在解决现有大语言模型对齐方法中对用户反馈依赖过于复杂的问题。现有方法通常需要用户提供正负反馈对，这在实际应用中并不方便。

核心思路：提出二元分类器优化（BCO）方法，利用用户的二元反馈（如“点赞”或“点踩”）来训练分类器，logit作为隐式奖励，从而有效地最小化DPO损失。

技术框架：BCO的整体架构包括数据收集、二元分类器训练和损失优化三个主要模块。首先，收集用户的二元反馈，然后训练分类器，最后通过优化损失函数来提升模型对齐效果。

关键创新：BCO的主要创新在于能够仅使用二元反馈进行有效对齐，避免了传统方法对正负反馈对的依赖。通过引入奖励转移技术，进一步缩小了DPO损失与分类器损失之间的差距。

关键设计：在损失函数设计上，采用二元交叉熵损失作为DPO损失的上界，并通过调整模型参数和网络结构来优化分类器性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BCO方法在配对偏好数据集上与DPO方法表现相当，而在基于真实用户查询的Likert-5量表数据集上也展现出强大的对齐能力。整体上，BCO在四个基础大语言模型和三个不同数据集上均表现出有效且稳健的对齐效果，验证了其实际应用价值。

🎯 应用场景

该研究的潜在应用领域包括聊天机器人、在线客服系统和个性化推荐等。通过有效利用用户的简单反馈，BCO方法能够提升模型的对齐效果，从而改善用户体验。未来，该方法可能在更多需要快速反馈的智能系统中得到广泛应用。

📄 摘要（原文）

In real-world services such as ChatGPT, aligning models based on user feedback is crucial for improving model performance. However, due to the simplicity and convenience of providing feedback, users typically offer only basic binary signals, such as 'thumbs-up' or 'thumbs-down'. Most existing alignment research, on the other hand, relies on preference-based approaches that require both positive and negative responses as a pair. We propose Binary Classifier Optimization (BCO), a technique that effectively aligns LLMs using only binary feedback. BCO trains a binary classifier, where the logit serves as an implicit reward, effectively minimizing the Direct Preference Optimization (DPO) loss. We demonstrate that the binary cross-entropy loss employed in classifier training acts as an upper bound for the DPO loss. Additionally, a novel reward shift technique further minimizes the gap between the losses. We validate our methodology in two settings: first, on a paired preference dataset, where our method performs on par with DPO; and second, on a Likert-5 scale annotation dataset which stems from real users' queries. Our model consistently demonstrates effective and robust alignment across four base LLMs and three different datasets, showcasing the strength of our approach to learning from binary signals.