Efficient and Accurate Memorable Conversation Model using DPO based on sLLM

📄 arXiv: 2407.06537v2 📥 PDF

作者: Youngkyung Seo, Yoonseok Heo, Jun-Seok Koh, Du-Seong Chang

分类: cs.CL, cs.AI

发布日期: 2024-07-09 (更新: 2024-08-27)

💡 一句话要点

基于sLLM和DPO的高效准确记忆对话模型，提升多轮对话性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多轮对话系统 记忆管理 小型语言模型 直接偏好优化 DPO sLLM 对话生成

📋 核心要点

  1. 多轮对话系统面临记忆管理难题，简单累积记忆导致信息冗余，影响对话质量。
  2. 提出基于sLLM和DPO的对话模型，有效管理记忆，准确反映对话历史。
  3. 实验表明，该模型在记忆准确性和响应生成性能方面均有显著提升，资源利用率高。

📝 摘要（中文）

在多轮对话系统中，随着会话的进行持续更新记忆至关重要。简单地累积记忆会因输入句子大小的限制，难以专注于对话内容进行推理。因此，需要一种能够管理记忆以持续反映对话历史的高效准确的对话模型。本文提出了一种对话模型，该模型有效地管理会话过程中的记忆，并通过三种方法（SFT、DPO 和带有 SFT 模型的 DPO）将其整合到模型中，以准确反映对话历史。我们的模型使用 DPO 算法在记忆准确性方面显示出约 0.0591 的 BERTScore 提升，并且反映记忆的响应率也提高了。此外，响应生成性能在流畅性方面提高了约 4.292，在连贯性方面提高了 3.935，在一致性方面提高了 2.896。本文描述了一种训练方法，即使模型尺寸较小，也能产生比参数尺寸大两倍以上的模型更好的性能。因此，我们的模型不仅在准确性方面，而且在资源利用方面都表现出效率。

🔬 方法详解

问题定义：多轮对话系统需要维护对话历史，但简单地累积历史信息会导致输入长度超出限制，并且难以关注关键信息，影响对话质量和效率。现有方法难以在有限的资源下，既保证对话的流畅性和连贯性，又准确地反映对话历史。

核心思路：本文的核心思路是利用小型语言模型（sLLM）作为基础模型，并采用Direct Preference Optimization (DPO) 算法进行训练，从而在保证模型效率的同时，提升其记忆管理能力和对话质量。DPO算法通过直接优化模型对不同回复的偏好，避免了传统强化学习方法中复杂的奖励函数设计。

技术框架：该模型训练流程包含三个阶段：首先，使用Supervised Fine-Tuning (SFT) 对sLLM进行微调，使其具备初步的对话能力。然后，使用DPO算法对SFT模型进行优化，提升其记忆准确性和对话质量。最后，将SFT模型与DPO模型结合，进一步提升模型的性能。整体框架旨在利用SFT的初始化优势和DPO的优化能力，实现高效且准确的对话。

关键创新：该论文的关键创新在于将DPO算法应用于多轮对话模型的训练，并结合sLLM，实现了在资源有限的情况下，提升模型记忆管理能力和对话质量的目标。与传统的强化学习方法相比，DPO算法更加稳定和高效，避免了奖励函数设计的难题。

关键设计：在DPO训练中，需要构建一个偏好数据集，包含模型对不同回复的偏好排序。损失函数的设计至关重要，需要能够有效地引导模型学习正确的偏好关系。此外，sLLM的选择也会影响模型的性能，需要根据具体的应用场景进行选择和调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用DPO算法训练的模型在记忆准确性方面BERTScore提升了0.0591，并且反映记忆的响应率也提高了。此外，响应生成性能在流畅性方面提高了约4.292，在连贯性方面提高了3.935，在一致性方面提高了2.896。该模型在参数量较小的情况下，性能优于参数量大两倍以上的模型。

🎯 应用场景

该研究成果可应用于智能客服、聊天机器人、虚拟助手等领域，尤其适用于资源受限的场景。通过高效的记忆管理和对话生成能力，可以提升用户体验，降低运营成本。未来，该方法有望推广到更复杂的对话场景，例如多模态对话和个性化对话。

📄 摘要（原文）

In multi-session dialog system, it is essential to continuously update the memory as the session progresses. Simply accumulating memory can make it difficult to focus on the content of the conversation for inference due to the limited input sentence size. Therefore, efficient and accurate conversation model that is capable of managing memory to reflect the conversation history continuously is necessary. This paper presents a conversation model that efficiently manages memory as sessions progress and incorporates this into the model to reflect the conversation history accurately with 3 methodologies: SFT, DPO and DPO with SFT model. Our model using DPO algorithm shows an improvement about 0.0591 of BERTScore in memory accuracy, and the rate of responses reflecting the memory increased as well. Also, response generation performance enhanced about 4.292 in fluency, 3.935 in coherence, and 2.896 in consistency. This paper describes a training method that yields better performance than models with more than twice the parameter size, even when the model size is smaller. Thus, our model demonstrates efficiency not only in terms of accuracy but also in resource utilization.