Psyche-R1: Towards Reliable Psychological LLMs through Unified Empathy, Expertise, and Reasoning

📄 arXiv: 2508.10848v2 📥 PDF

作者: Chongyuan Dai, Jinpeng Hu, Hongchang Shi, Zhuo Li, Xun Yang, Meng Wang

分类: cs.CL

发布日期: 2025-08-14 (更新: 2025-08-22)

💡 一句话要点

提出Psyche-R1，首个融合共情、专业知识和推理能力的中文心理学大语言模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理学大语言模型 共情 推理 专业知识 思维链 群体相对策略优化 数据合成

📋 核心要点

  1. 现有心理学领域的大语言模型研究主要关注情感支持和共情对话，缺乏对推理机制的重视，导致回复的可靠性不足。
  2. Psyche-R1通过构建包含推理过程的高质量心理学数据集，并结合混合训练策略，提升模型在共情、专业知识和推理方面的能力。
  3. 实验结果表明，Psyche-R1在多个心理学基准测试中表现出色，其7B版本达到了与671B DeepSeek-R1相当的性能。

📝 摘要（中文）

本文提出Psyche-R1，首个中文心理学大语言模型，旨在解决心理健康专业人员短缺问题。Psyche-R1通过整合共情能力、心理学专业知识和推理能力，提升心理咨询的可靠性。该模型基于新颖的数据收集流程构建，包含超过7.5万个高质量心理学问题及详细的推理过程（通过思维链CoT推理和迭代提示-理由优化生成）以及7.3万个共情对话。随后，采用混合训练策略，通过多LLM交叉选择策略识别具有挑战性的样本，使用群体相对策略优化（GRPO）来提高推理能力，同时使用剩余数据进行监督微调（SFT），以增强共情响应生成和心理学领域知识。实验结果表明，Psyche-R1在多个心理学基准测试中表现出色，其7B版本达到了与671B DeepSeek-R1相当的性能。

🔬 方法详解

问题定义：现有心理学大语言模型在提供心理支持时，往往缺乏足够的推理能力和专业知识，导致生成的回复可能不够可靠或有效。尤其是在需要深入分析和解决心理问题时，这种缺陷尤为明显。因此，论文旨在构建一个能够进行可靠心理咨询的大语言模型，弥补现有模型的不足。

核心思路：论文的核心思路是整合共情能力、心理学专业知识和推理能力。通过构建包含详细推理过程的数据集，并采用混合训练策略，使模型能够像专业的心理咨询师一样，理解用户的情感，运用专业知识进行分析，并进行合理的推理，从而提供更可靠和有效的心理支持。

技术框架：Psyche-R1的整体框架包含数据收集和模型训练两个主要阶段。在数据收集阶段，通过设计全面的数据合成流程，生成高质量的心理学问题和包含推理过程的答案，以及共情对话数据。在模型训练阶段，采用混合训练策略，首先使用监督微调（SFT）增强共情响应生成和心理学领域知识，然后使用群体相对策略优化（GRPO）提高推理能力。

关键创新：论文的关键创新在于：1) 提出了一个综合的数据合成流程，能够生成包含详细推理过程的高质量心理学数据集；2) 采用了混合训练策略，结合SFT和GRPO，分别优化模型的共情能力和推理能力；3) 使用多LLM交叉选择策略识别具有挑战性的样本，用于GRPO训练，提高了训练效率和效果。

关键设计：在数据合成流程中，使用了思维链（CoT）推理和迭代提示-理由优化技术，确保生成答案的合理性和准确性。在混合训练策略中，SFT使用所有数据，而GRPO仅使用通过多LLM交叉选择策略识别出的具有挑战性的样本。GRPO的具体参数设置未知，损失函数也未明确说明，但强调了其在提升推理能力上的作用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Psyche-R1在多个心理学基准测试中表现出色，证明了其在共情、专业知识和推理方面的有效性。尤其值得注意的是，其7B版本达到了与671B DeepSeek-R1相当的性能，表明通过有效的数据构建和训练策略，小模型也能在特定领域达到甚至超越大型模型的水平。

🎯 应用场景

Psyche-R1可应用于在线心理咨询、心理健康评估、心理健康教育等领域。该模型能够为用户提供初步的心理支持和指导，缓解心理健康专业人员的压力，并提高心理服务的可及性。未来，该模型有望发展成为智能心理健康助手，为用户提供个性化的心理健康管理方案。

📄 摘要（原文）

Amidst a shortage of qualified mental health professionals, the integration of large language models (LLMs) into psychological applications offers a promising way to alleviate the growing burden of mental health disorders. Recent reasoning-augmented LLMs have achieved remarkable performance in mathematics and programming, while research in the psychological domain has predominantly emphasized emotional support and empathetic dialogue, with limited attention to reasoning mechanisms that are beneficial to generating reliable responses. Therefore, in this paper, we propose Psyche-R1, the first Chinese psychological LLM that jointly integrates empathy, psychological expertise, and reasoning, built upon a novel data curation pipeline. Specifically, we design a comprehensive data synthesis pipeline that produces over 75k high-quality psychological questions paired with detailed rationales, generated through chain-of-thought (CoT) reasoning and iterative prompt-rationale optimization, along with 73k empathetic dialogues. Subsequently, we employ a hybrid training strategy wherein challenging samples are identified through a multi-LLM cross-selection strategy for group relative policy optimization (GRPO) to improve reasoning ability, while the remaining data is used for supervised fine-tuning (SFT) to enhance empathetic response generation and psychological domain knowledge. Extensive experiment results demonstrate the effectiveness of the Psyche-R1 across several psychological benchmarks, where our 7B Psyche-R1 achieves comparable results to 671B DeepSeek-R1.