Distilling Empathy from Large Language Models

📄 arXiv: 2507.08151v1 📥 PDF

作者: Henry J. Xie, Jinghan Zhang, Xinhao Zhang, Kunpeng Liu

分类: cs.CL

发布日期: 2025-07-10

备注: Accepted by SIGDIAL 2025

💡 一句话要点

提出一种基于提示工程的两阶段微调方法，用于将大型语言模型的共情能力蒸馏到小型语言模型中。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 大型语言模型 小型语言模型 共情能力 提示工程

📋 核心要点

  1. 现有方法难以在资源受限设备上部署大型语言模型，同时保持其重要的共情能力。
  2. 论文提出一种两阶段微调方法，结合精心设计的提示工程，以提升小型语言模型在蒸馏过程中的共情能力。
  3. 实验结果表明，该方法显著提高了小型语言模型的共情能力，胜率达到90%，优于基线方法。

📝 摘要（中文）

本文提出了一种将大型语言模型(LLM)的知识蒸馏到小型语言模型(SLM)中的综合方法，旨在保留LLM的能力和性能，同时减小模型尺寸。由于SLM比LLM小得多，因此常用于人机交互频繁但资源高度受限的领域，例如智能手机。因此，确保LLM中已具备的共情能力在蒸馏后被SLM保留至关重要。本文开发了一种有效将LLM的共情能力蒸馏到SLM中的综合方法。该方法采用两步微调过程，充分利用从LLM中蒸馏出的共情对话响应数据集。我们探索了除基本直接提示之外的几种蒸馏方法，并提出了四种独特的提示集，用于有针对性地改进共情能力，从而显著增强共情蒸馏过程。评估表明，通过两步微调过程和有针对性的共情改进提示增强的蒸馏数据集微调的SLM，在生成共情响应方面明显优于基础SLM，胜率高达90%。我们的有针对性的共情改进提示明显优于基本的直接提示，胜率提高了10%。

🔬 方法详解

问题定义：论文旨在解决如何将大型语言模型（LLM）中蕴含的共情能力有效地迁移到小型语言模型（SLM）的问题。现有的直接蒸馏方法可能无法充分保留LLM的共情能力，导致SLM在人机交互中表现不佳。尤其是在智能手机等资源受限的设备上，SLM需要具备良好的共情能力，才能提供更优质的用户体验。

核心思路：论文的核心思路是通过两阶段微调和有针对性的提示工程来增强SLM的共情能力。首先，利用LLM生成高质量的共情对话数据集。然后，通过两阶段微调，使SLM能够更好地学习和模仿LLM的共情表达方式。此外，设计特定的提示语，引导SLM关注共情相关的特征，从而进一步提升其共情能力。

技术框架：整体框架包含以下几个主要步骤：1) 利用LLM生成共情对话数据集；2) 设计四种独特的提示集，用于有针对性地改进共情能力；3) 使用生成的共情数据集和提示集，对SLM进行第一阶段的微调；4) 使用增强后的数据集进行第二阶段的微调，进一步提升SLM的共情能力。

关键创新：论文的关键创新在于提出了有针对性的提示工程方法，用于指导SLM学习共情能力。这些提示语的设计考虑了共情表达的多个维度，例如情感识别、情感回应等。通过这些提示语，SLM可以更有效地学习LLM的共情知识，从而提升其在人机交互中的表现。与传统的直接蒸馏方法相比，该方法能够更好地保留LLM的共情能力。

关键设计：论文设计了四种独特的提示集，用于有针对性地改进共情能力。这些提示集的设计基于对共情表达的深入理解，旨在引导SLM关注共情相关的特征。此外，论文采用了两阶段微调策略，第一阶段使用原始的共情数据集进行微调，第二阶段使用增强后的数据集进行微调，从而逐步提升SLM的共情能力。具体的参数设置和损失函数等技术细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过两步微调过程和有针对性的共情改进提示增强的蒸馏数据集微调的SLM，在生成共情响应方面明显优于基础SLM，胜率高达90%。与基本的直接提示相比，该方法在胜率上提高了10%，证明了有针对性的提示工程的有效性。

🎯 应用场景

该研究成果可应用于智能客服、虚拟助手、心理咨询等领域，提升人机交互的自然性和情感连接。通过将具备共情能力的小型语言模型部署在智能手机等资源受限设备上，可以为用户提供更贴心、更人性化的服务，改善用户体验，并可能在心理健康领域发挥积极作用。

📄 摘要（原文）

The distillation of knowledge from Large Language Models (LLMs) into Smaller Language Models (SLMs), preserving the capabilities and performance of LLMs while reducing model size, has played a key role in the proliferation of LLMs. Because SLMs are considerably smaller than LLMs, they are often utilized in domains where human interaction is frequent but resources are highly constrained, e.g., smart phones. Therefore, it is crucial to ensure that empathy, a fundamental aspect of positive human interactions, already instilled into LLMs, is retained by SLMs after distillation. In this paper, we develop a comprehensive approach for effective empathy distillation from LLMs into SLMs. Our approach features a two-step fine-tuning process that fully leverages datasets of empathetic dialogue responses distilled from LLMs. We explore several distillation methods beyond basic direct prompting and propose four unique sets of prompts for targeted empathy improvement to significantly enhance the empathy distillation process. Our evaluations demonstrate that SLMs fine-tuned through the two-step fine-tuning process with distillation datasets enhanced by the targeted empathy improvement prompts significantly outperform the base SLM at generating empathetic responses with a win rate of 90%. Our targeted empathy improvement prompts substantially outperform the basic direct prompting with a 10% improvement in win rate.