User-Specific Dialogue Generation with User Profile-Aware Pre-Training Model and Parameter-Efficient Fine-Tuning
作者: Atsushi Otsuka, Kazuya Matsuo, Ryo Ishii, Narichika Nomoto, Hiroaki Sugiyama
分类: cs.CL, cs.AI
发布日期: 2024-09-02
💡 一句话要点
提出用户画像感知的预训练模型与参数高效微调方法，用于生成用户特定对话
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 用户特定对话生成 参数高效微调 预训练模型 用户画像 个性化对话
📋 核心要点
- 现有个性化对话主要集中于基于人物设定的虚拟用户，难以复现真实用户的对话模式，面临数据稀疏和过拟合的挑战。
- 提出结合用户画像感知的预训练模型和参数高效微调方法，利用少量参数即可有效学习用户特定对话，避免模型崩溃。
- 实验结果表明，即使在小模型下，该方法也能生成比基于提示的大型语言模型更具可复现性的用户特定对话。
📝 摘要（中文）
本文研究用户特定对话生成。与以往侧重于通过人物角色描述实现虚拟用户对话的个性化对话研究不同，用户特定对话旨在复现超出人物角色范围的真实用户对话。使用目标用户的对话历史进行微调是用户特定模型的有效学习方法，但容易因数据量小而导致过拟合和模型崩溃。因此，本文提出了一种结合参数高效微调和包含用户画像的预训练对话模型来学习用户特定模型的方法。参数高效微调为整个模型添加少量参数，即使少量训练数据也能有效训练，并且对模型崩溃具有鲁棒性。此外，预训练模型通过添加自动推断的用户画像的简单提示进行学习，即使在微调期间训练数据很少，也能生成具有增强的用户画像知识的语音。实验表明，与使用包含用户个人信息的提示的大型语言模型生成相比，所提出的模型能够生成具有更高可复现性的语句。
🔬 方法详解
问题定义：本文旨在解决用户特定对话生成问题，即如何根据用户的历史对话数据生成更贴近真实用户的对话。现有方法，特别是基于人物角色设定的个性化对话，难以捕捉真实用户的复杂性和细微差别。直接使用用户对话历史进行微调容易因数据量不足而导致过拟合，甚至模型崩溃。
核心思路：本文的核心思路是结合用户画像感知的预训练和参数高效微调。首先，通过预训练模型学习通用的对话知识和用户画像信息，然后利用参数高效微调方法，仅需少量用户特定数据即可快速适应目标用户的对话风格，避免过拟合。这样既能利用预训练模型的泛化能力，又能保证模型能够捕捉到用户的个性化特征。
技术框架：整体框架包含两个主要阶段：预训练阶段和微调阶段。在预训练阶段，模型学习通用的对话知识和用户画像信息。在微调阶段，使用目标用户的对话历史数据，通过参数高效微调方法调整模型参数，使其适应目标用户的对话风格。具体来说，预训练模型采用Transformer架构，输入包括对话历史和用户画像提示，输出为下一句对话。微调阶段采用Adapter或LoRA等参数高效微调技术，仅更新少量参数。
关键创新：本文的关键创新在于将用户画像感知的预训练和参数高效微调相结合。传统的预训练模型通常只关注对话内容，忽略了用户画像信息。本文通过添加用户画像提示，使模型能够学习到用户画像与对话风格之间的关联。此外，参数高效微调方法能够有效避免过拟合，提高模型的泛化能力。
关键设计：用户画像提示的设计是关键。论文中使用自动推断的用户画像信息，例如用户的兴趣、职业等，作为提示输入到预训练模型中。参数高效微调方面，可以选择Adapter或LoRA等方法，具体参数设置需要根据数据集大小和模型复杂度进行调整。损失函数通常采用交叉熵损失，用于衡量生成对话与真实对话之间的差异。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的模型在用户特定对话生成任务上取得了显著的性能提升。与基于提示的大型语言模型相比，该模型能够生成具有更高可复现性的语句，即使在小模型下也能达到更好的效果。这表明该方法能够有效利用用户画像信息和参数高效微调，从而更好地捕捉用户的个性化特征。
🎯 应用场景
该研究成果可应用于智能客服、聊天机器人、虚拟助手等领域，实现更个性化、更自然的对话交互。通过学习用户的对话习惯和偏好，可以提供更贴合用户需求的定制化服务，提升用户体验。未来，该技术还可以应用于心理咨询、教育辅导等领域，提供更具针对性的支持。
📄 摘要（原文）
This paper addresses user-specific dialogs. In contrast to previous research on personalized dialogue focused on achieving virtual user dialogue as defined by persona descriptions, user-specific dialogue aims to reproduce real-user dialogue beyond persona-based dialogue. Fine-tuning using the target user's dialogue history is an efficient learning method for a user-specific model. However, it is prone to overfitting and model destruction due to the small amount of data. Therefore, we propose a learning method for user-specific models by combining parameter-efficient fine-tuning with a pre-trained dialogue model that includes user profiles. Parameter-efficient fine-tuning adds a small number of parameters to the entire model, so even small amounts of training data can be trained efficiently and are robust to model destruction. In addition, the pre-trained model, which is learned by adding simple prompts for automatically inferred user profiles, can generate speech with enhanced knowledge of the user's profile, even when there is little training data during fine-tuning. In experiments, we compared the proposed model with large-language-model utterance generation using prompts containing users' personal information. Experiments reproducing real users' utterances revealed that the proposed model can generate utterances with higher reproducibility than the compared methods, even with a small model.