MentalGLM Series: Explainable Large Language Models for Mental Health Analysis on Chinese Social Media

📄 arXiv: 2410.10323v1 📥 PDF

作者: Wei Zhai, Nan Bai, Qing Zhao, Jianqiang Li, Fan Wang, Hongzhi Qi, Meng Jiang, Xiaoqin Wang, Bing Xiang Yang, Guanghui Fu

分类: cs.CL

发布日期: 2024-10-14

🔗 代码/项目: GITHUB

💡 一句话要点

提出MentalGLM系列模型，用于中文社交媒体心理健康分析的可解释大语言模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理健康分析 大型语言模型 可解释性 中文社交媒体 指令微调

📋 核心要点

  1. 现有心理健康分析模型，特别是深度学习模型，通常是黑盒，缺乏可解释性，限制了其在实际场景中的应用。
  2. MentalGLM系列模型利用大型语言模型的生成能力，通过指令微调，使其能够提供决策解释，增强模型的可信度和可用性。
  3. 实验结果表明，MentalGLM在多个心理健康分析任务上取得了与深度学习模型相当甚至更好的性能，并在临床数据集上表现出优越性。

📝 摘要（中文）

随着心理健康挑战的日益普遍，社交媒体已成为个人表达情感的关键平台。深度学习在社交媒体心理健康分析方面展现出潜力。然而，黑盒模型在任务切换时缺乏灵活性，且结果通常缺乏解释。大型语言模型（LLMs）的兴起为该领域带来了新方法，其生成特性使其能够解释决策过程。但它们在复杂心理分析方面的性能仍落后于深度学习。本文提出了首个多任务中文社交媒体可解释心理健康指令（C-IMHI）数据集，包含9K样本，经过质量控制和人工验证。同时，提出了MentalGLM系列模型，首个面向中文社交媒体、为可解释心理健康分析设计的开源LLM，在包含50K指令的语料库上训练。该模型在三个下游任务上进行了评估，与深度学习模型、通用LLM和任务微调LLM相比，取得了更好或相当的性能。通过专家验证了部分生成的决策解释，显示出良好的结果。该模型在临床数据集上也优于其他LLM，表明其在临床领域的潜在适用性。经验证，该模型在跨任务和跨视角方面表现出强大的性能。决策解释增强了可用性，并有助于更好地理解和实际应用模型。构建的数据集和模型均已公开。

🔬 方法详解

问题定义：论文旨在解决中文社交媒体上心理健康分析任务中，现有深度学习模型缺乏可解释性以及通用大语言模型在该领域表现不足的问题。现有方法通常是黑盒模型，难以理解其决策过程，限制了其在实际应用中的信任度和可控性。

核心思路：论文的核心思路是利用大型语言模型的生成能力，通过构建专门的中文社交媒体心理健康指令数据集（C-IMHI）并进行指令微调，训练出能够进行可解释心理健康分析的MentalGLM系列模型。这样既能利用LLM的强大能力，又能提供决策解释，增强模型的可信度。

技术框架：MentalGLM系列模型的技术框架主要包括以下几个部分：1) 构建高质量的中文社交媒体可解释心理健康指令数据集（C-IMHI），包含9K样本；2) 基于GLM架构，构建MentalGLM模型；3) 使用C-IMHI数据集和包含50K指令的语料库对MentalGLM进行指令微调；4) 在三个下游任务上评估模型性能，并与深度学习模型、通用LLM和任务微调LLM进行比较；5) 通过专家验证生成的决策解释的合理性。

关键创新：论文的关键创新在于：1) 提出了首个多任务中文社交媒体可解释心理健康指令数据集（C-IMHI）；2) 构建了首个面向中文社交媒体心理健康分析的可解释大语言模型MentalGLM系列；3) 验证了MentalGLM在多个任务和数据集上的有效性，并证明了其生成的决策解释具有一定的合理性。

关键设计：论文的关键设计包括：1) C-IMHI数据集的构建，包括数据收集、清洗、标注和质量控制；2) MentalGLM模型的架构选择，基于GLM架构，并针对心理健康分析任务进行优化；3) 指令微调策略，包括指令的设计和训练数据的选择；4) 决策解释的生成方法，利用LLM的生成能力，通过prompting生成解释。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MentalGLM系列模型在三个下游任务上取得了与深度学习模型相当甚至更好的性能。在临床数据集上，MentalGLM优于其他LLM，表明其在临床领域的潜在适用性。专家验证了部分生成的决策解释，显示出良好的结果，证明了模型的可解释性。

🎯 应用场景

MentalGLM系列模型可应用于中文社交媒体平台的心理健康监测、预警和干预。该模型能够分析用户发布的文本内容，识别潜在的心理健康问题，并提供可解释的分析结果，帮助专业人士更好地理解用户的情绪状态，从而制定更有效的干预措施。此外，该模型还可用于临床心理咨询和治疗，辅助医生进行诊断和治疗方案的制定。

📄 摘要（原文）

As the prevalence of mental health challenges, social media has emerged as a key platform for individuals to express their emotions.Deep learning tends to be a promising solution for analyzing mental health on social media. However, black box models are often inflexible when switching between tasks, and their results typically lack explanations. With the rise of large language models (LLMs), their flexibility has introduced new approaches to the field. Also due to the generative nature, they can be prompted to explain decision-making processes. However, their performance on complex psychological analysis still lags behind deep learning. In this paper, we introduce the first multi-task Chinese Social Media Interpretable Mental Health Instructions (C-IMHI) dataset, consisting of 9K samples, which has been quality-controlled and manually validated. We also propose MentalGLM series models, the first open-source LLMs designed for explainable mental health analysis targeting Chinese social media, trained on a corpus of 50K instructions. The proposed models were evaluated on three downstream tasks and achieved better or comparable performance compared to deep learning models, generalized LLMs, and task fine-tuned LLMs. We validated a portion of the generated decision explanations with experts, showing promising results. We also evaluated the proposed models on a clinical dataset, where they outperformed other LLMs, indicating their potential applicability in the clinical field. Our models show strong performance, validated across tasks and perspectives. The decision explanations enhance usability and facilitate better understanding and practical application of the models. Both the constructed dataset and the models are publicly available via: https://github.com/zwzzzQAQ/MentalGLM.