Preference Learning Unlocks LLMs' Psycho-Counseling Skills

📄 arXiv: 2502.19731v1 📥 PDF

作者: Mian Zhang, Shaun M. Eack, Zhiyu Zoey Chen

分类: cs.CL

发布日期: 2025-02-27

备注: 10 pages, 6 figures

💡 一句话要点

提出PsychoCounsel-Preference数据集，提升LLM心理咨询能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理咨询 大型语言模型 偏好学习 数据集构建 奖励模型

📋 核心要点

  1. 现有LLM在心理咨询中表现欠佳，主要原因是缺乏高质量的真实心理咨询数据，且数据涉及隐私难以获取。
  2. 论文核心在于构建PsychoCounsel-Preference数据集，通过专业原则评估治疗师回复，提供高质量偏好比较。
  3. 实验表明，基于该数据集训练的PsychoCounsel-Llama3-8B模型，在心理咨询回复质量上显著提升，胜率高达87%（vs. GPT-4o）。

📝 摘要（中文）

本文旨在解决大型语言模型（LLMs）在心理咨询应用中表现不佳的问题，该问题主要源于缺乏高质量的心理咨询数据，以及现有治疗师回复质量参差不齐。为解决这些挑战，本文首先提出了一套专业且全面的原则，用于评估治疗师对客户言语的回复质量。基于这些原则，构建了一个包含36k高质量偏好比较对的数据集PsychoCounsel-Preference。该数据集与专业心理治疗师的偏好对齐，为评估和改进LLMs在心理咨询中的应用提供了坚实的基础。在奖励建模和偏好学习上的实验表明，PsychoCounsel-Preference是LLMs获取心理咨询关键技能的优秀资源。最佳对齐模型PsychoCounsel-Llama3-8B，对阵GPT-4o取得了87%的胜率。我们开源了PsychoCounsel-Preference、PsychoCounsel-Llama3-8B和奖励模型PsychoCounsel Llama3-8B-Reward，以促进LLMs在心理咨询领域的研究。

🔬 方法详解

问题定义：论文旨在解决LLM在心理咨询领域应用效果不佳的问题。现有方法面临两大痛点：一是缺乏高质量的心理咨询数据，特别是真实治疗师与患者的对话数据，这些数据通常涉及隐私难以获取；二是现有治疗师的回复质量参差不齐，难以直接用于训练LLM。

核心思路：论文的核心思路是构建一个高质量的偏好数据集，该数据集通过专业心理治疗原则对治疗师的回复进行评估和排序，从而为LLM提供明确的优化目标。通过偏好学习，LLM可以学习到专业治疗师的回复风格和技巧，从而提升其心理咨询能力。

技术框架：整体框架包括以下几个阶段：1) 定义心理治疗回复的评估原则；2) 基于这些原则，对现有心理咨询数据进行标注，构建偏好比较对；3) 使用偏好数据集训练奖励模型；4) 使用奖励模型指导LLM的微调，使其回复更符合专业治疗师的偏好。

关键创新：论文的关键创新在于提出了一个系统性的方法来评估和量化心理治疗回复的质量，并将其转化为可用于训练LLM的偏好数据。与以往直接使用未经筛选的对话数据相比，该方法能够更有效地提升LLM的心理咨询能力。

关键设计：论文的关键设计包括：1) 详细的心理治疗回复评估原则，涵盖了同理心、积极关注、澄清等多个方面；2) 精心设计的偏好比较标注流程，确保标注质量；3) 使用Llama3-8B作为基础模型，并使用奖励模型进行微调，以最大程度地利用偏好数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于PsychoCounsel-Preference数据集训练的PsychoCounsel-Llama3-8B模型，在心理咨询回复质量上取得了显著提升，对阵GPT-4o的胜率高达87%。这表明该数据集能够有效提升LLM的心理咨询能力，使其能够提供更专业、更有效的回复。

🎯 应用场景

该研究成果可应用于开发智能心理咨询助手，为患者提供初步的心理支持和指导。尤其是在心理咨询资源匮乏的地区或人群中，该技术具有重要的应用价值。未来，该技术有望与专业心理治疗师合作，共同提升心理健康服务的质量和可及性。

📄 摘要（原文）

Applying large language models (LLMs) to assist in psycho-counseling is an emerging and meaningful approach, driven by the significant gap between patient needs and the availability of mental health support. However, current LLMs struggle to consistently provide effective responses to client speeches, largely due to the lack of supervision from high-quality real psycho-counseling data, whose content is typically inaccessible due to client privacy concerns. Furthermore, the quality of therapists' responses in available sessions can vary significantly based on their professional training and experience. Assessing the quality of therapists' responses remains an open challenge. In this work, we address these challenges by first proposing a set of professional and comprehensive principles to evaluate therapists' responses to client speeches. Using these principles, we create a preference dataset, PsychoCounsel-Preference, which contains 36k high-quality preference comparison pairs. This dataset aligns with the preferences of professional psychotherapists, providing a robust foundation for evaluating and improving LLMs in psycho-counseling. Experiments on reward modeling and preference learning demonstrate that PsychoCounsel-Preference is an excellent resource for LLMs to acquire essential skills for responding to clients in a counseling session. Our best-aligned model, PsychoCounsel-Llama3-8B, achieves an impressive win rate of 87% against GPT-4o. We release PsychoCounsel-Preference, PsychoCounsel-Llama3-8B and the reward model PsychoCounsel Llama3-8B-Reward to facilitate the research of psycho-counseling with LLMs at: https://hf.co/Psychotherapy-LLM.