Learning LLM Preference over Intra-Dialogue Pairs: A Framework for Utterance-level Understandings

📄 arXiv: 2503.05620v1 📥 PDF

作者: Xuanqing Liu, Luyang Kong, Wei Niu, Afshin Khashei, Belinda Zeng, Steve Johnson, Jon Jay, Davor Golac, Matt Pope

分类: cs.CL, cs.AI

发布日期: 2025-03-07

备注: 7 pages, 4 figures

💡 一句话要点

提出基于LLM偏好学习的对话单元理解框架，提升小模型性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 偏好学习 对话理解 噪声抑制 小模型训练

📋 核心要点

  1. 现有方法难以兼顾LLM的强大能力和实时对话处理的低延迟需求，小模型精度不足。
  2. 提出一种基于LLM偏好学习的框架，利用LLM生成标签，并采用降噪损失函数提升小模型性能。
  3. 实验表明，该方法在情感检测和对话行为分类等任务上显著提高了准确率，优于现有方法。

📝 摘要（中文）

大型语言模型（LLMs）在处理复杂的对话任务方面表现出了卓越的能力，而无需针对特定用例进行微调。然而，实时分析在线对话需要低延迟的处理系统，这使得部署具有数十亿参数的模型因延迟限制而变得不切实际。因此，从业者通常更喜欢具有数百万参数的较小模型，这些模型在高质量、人工标注的数据集上进行训练。然而，管理此类数据集既耗时又昂贵。因此，越来越需要将LLM生成标签的可扩展性与人工标注的精确性相结合，使微调后的较小模型能够实现更高的速度和与较大模型相当的准确性。在本文中，我们介绍了一个简单而有效的框架来应对这一挑战。我们的方法专门为每个话语的分类问题而设计，包括意图检测、对话状态跟踪等任务。为了减轻LLM标注错误的影响（这是学生模型不准确的主要来源），我们提出了一种降噪的偏好学习损失。实验结果表明，我们的方法显著提高了话语级对话任务的准确性，包括情感检测（超过2%），对话行为分类（超过1.5%）等。

🔬 方法详解

问题定义：论文旨在解决在对话理解任务中，如何利用大型语言模型（LLM）的知识来提升小型模型性能的问题。现有方法要么直接使用大型模型，但延迟高，不适用于实时场景；要么使用人工标注数据训练小型模型，但标注成本高昂。直接使用LLM标注数据训练小型模型，会受到LLM标注噪声的影响，导致模型性能下降。

核心思路：论文的核心思路是利用LLM生成对话单元对的偏好关系，而不是直接使用LLM的绝对标签。通过学习LLM对不同对话单元对的偏好，可以减少LLM标注噪声的影响，从而更有效地训练小型模型。这种方法旨在结合LLM的知识和小型模型的效率。

技术框架：整体框架包含以下几个主要步骤：1) 使用LLM对对话单元对进行偏好排序，生成偏好标签。2) 使用偏好标签训练小型模型，目标是使小型模型的预测结果与LLM的偏好一致。3) 采用一种降噪的偏好学习损失函数，以减轻LLM标注噪声的影响。该框架适用于各种对话单元级别的分类任务，如意图检测、对话状态跟踪等。

关键创新：论文的关键创新在于提出了一种基于LLM偏好学习的训练方法，以及一种降噪的偏好学习损失函数。与直接使用LLM标注数据的方法相比，该方法能够更有效地利用LLM的知识，并减轻LLM标注噪声的影响。与传统的监督学习方法相比，该方法不需要大量的人工标注数据，降低了标注成本。

关键设计：关键设计包括：1) 如何选择合适的LLM进行偏好排序。2) 如何构建对话单元对，以最大程度地利用LLM的知识。3) 如何设计降噪的偏好学习损失函数，以减轻LLM标注噪声的影响。论文中具体使用了交叉熵损失函数的变体，并引入了噪声抑制项，以降低错误标注样本的权重。具体的参数设置和网络结构细节在论文中有详细描述，但此处未提供。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，该方法在情感检测任务上取得了超过2%的准确率提升，在对话行为分类任务上取得了超过1.5%的准确率提升。与直接使用LLM标注数据训练的模型相比，该方法取得了显著的性能提升。这些结果表明，基于LLM偏好学习的框架能够有效地利用LLM的知识，并减轻LLM标注噪声的影响。

🎯 应用场景

该研究成果可广泛应用于各种对话系统，例如智能客服、语音助手等。通过利用LLM的知识，可以提升小型模型在对话理解任务中的性能，从而提高对话系统的智能化水平和用户体验。该方法还可以降低人工标注成本，加速对话系统的开发和部署。未来，该方法可以进一步扩展到其他自然语言处理任务中。

📄 摘要（原文）

Large language models (LLMs) have demonstrated remarkable capabilities in handling complex dialogue tasks without requiring use case-specific fine-tuning. However, analyzing live dialogues in real-time necessitates low-latency processing systems, making it impractical to deploy models with billions of parameters due to latency constraints. As a result, practitioners often prefer smaller models with millions of parameters, trained on high-quality, human-annotated datasets. Yet, curating such datasets is both time-consuming and costly. Consequently, there is a growing need to combine the scalability of LLM-generated labels with the precision of human annotations, enabling fine-tuned smaller models to achieve both higher speed and accuracy comparable to larger models. In this paper, we introduce a simple yet effective framework to address this challenge. Our approach is specifically designed for per-utterance classification problems, which encompass tasks such as intent detection, dialogue state tracking, and more. To mitigate the impact of labeling errors from LLMs -- the primary source of inaccuracies in student models -- we propose a noise-reduced preference learning loss. Experimental results demonstrate that our method significantly improves accuracy across utterance-level dialogue tasks, including sentiment detection (over $2\%$), dialogue act classification (over $1.5\%$), etc.