Are Large Language Models Possible to Conduct Cognitive Behavioral Therapy?
作者: Hao Shen, Zihan Li, Minqiang Yang, Minghui Ni, Yongfeng Tao, Zhengyang Yu, Weihao Zheng, Chen Xu, Bin Hu
分类: cs.CL
发布日期: 2024-07-25
💡 一句话要点
评估大型语言模型在认知行为疗法中的应用潜力与局限性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 认知行为疗法 心理咨询 自动评估 知识库集成
📋 核心要点
- 传统认知行为疗法存在覆盖面窄、质量不高等问题，难以满足日益增长的心理健康需求。
- 该研究设计自动评估框架，从情感倾向、对话结构和主动询问能力等多维度评估LLM的CBT能力。
- 实验结果表明，LLM在心理咨询领域具有潜力，结合知识库等技术手段可进一步提升其CBT能力。
📝 摘要（中文）
心理健康问题日益突出，认知行为疗法(CBT)作为一种有效且无副作用的心理治疗方法，却面临覆盖面窄、质量不高等问题。近年来，利用大型语言模型(LLM)进行情绪障碍识别和干预的研究展现了新的可能性。本文旨在探讨LLM是否真正能够进行认知行为疗法。为此，我们收集了在线视频网站上的真实CBT语料库，设计并实施了一个有针对性的自动评估框架，包括生成文本的情感倾向评估、结构化对话模式评估以及主动询问能力评估。此外，我们还评估了集成CBT知识库后LLM的CBT能力，以探索引入额外知识对提升模型CBT咨询能力的帮助。实验结果表明，LLM在心理咨询领域具有巨大潜力，尤其是在与其他技术手段结合后。
🔬 方法详解
问题定义：论文旨在评估大型语言模型（LLM）在执行认知行为疗法（CBT）方面的能力。现有CBT疗法存在覆盖范围有限、质量参差不齐等问题，而利用LLM进行心理干预被认为是一种潜在的解决方案。然而，LLM是否真正能够胜任CBT，以及其在CBT中的局限性，是本文要探讨的核心问题。
核心思路：论文的核心思路是通过构建一个自动评估框架，从多个维度对LLM生成的CBT对话进行评估，从而判断LLM是否具备执行CBT的能力。此外，论文还探索了将CBT知识库融入LLM，以提升其CBT咨询能力。这种思路旨在客观、全面地评估LLM在CBT领域的潜力，并为未来的研究提供参考。
技术框架：该研究的技术框架主要包括以下几个部分：1) CBT语料库构建：从在线视频网站收集真实的CBT对话语料。2) 自动评估框架设计：设计针对CBT的自动评估指标，包括情感倾向评估、结构化对话模式评估和主动询问能力评估。3) LLM评估：使用自动评估框架评估多个LLM变体在CBT任务上的表现。4) 知识库集成：将CBT知识库集成到LLM中，并评估集成后的性能提升。
关键创新：该研究的关键创新在于提出了一个针对LLM在CBT应用中的自动评估框架。该框架不仅考虑了生成文本的情感倾向，还关注了对话的结构化模式和主动询问能力，从而更全面地评估LLM的CBT能力。此外，探索知识库集成的方法也为提升LLM在CBT领域的应用提供了新的思路。
关键设计：在自动评估框架中，情感倾向评估通过计算生成文本的情感倾向得分来实现；结构化对话模式评估使用多种自动评估指标，如评估说话风格、主题一致性以及CBT技术的运用；主动询问能力评估则使用PQA（Proactive Questioning Ability）指标。此外，CBT知识库的构建和集成方式也是关键设计之一，具体实现细节未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLM在心理咨询领域具有巨大潜力，尤其是在结合其他技术手段后。通过自动评估框架，研究人员能够量化LLM在情感倾向、对话结构和主动询问能力等方面的表现。此外，集成CBT知识库能够显著提升LLM的CBT咨询能力，具体提升幅度未知。
🎯 应用场景
该研究成果可应用于开发基于LLM的智能心理咨询系统，为用户提供便捷、个性化的心理健康服务。尤其是在心理咨询资源匮乏的地区，这种系统能够有效缓解供需矛盾。未来，结合多模态信息和更先进的AI技术，有望构建更智能、更人性化的心理健康助手。
📄 摘要（原文）
In contemporary society, the issue of psychological health has become increasingly prominent, characterized by the diversification, complexity, and universality of mental disorders. Cognitive Behavioral Therapy (CBT), currently the most influential and clinically effective psychological treatment method with no side effects, has limited coverage and poor quality in most countries. In recent years, researches on the recognition and intervention of emotional disorders using large language models (LLMs) have been validated, providing new possibilities for psychological assistance therapy. However, are LLMs truly possible to conduct cognitive behavioral therapy? Many concerns have been raised by mental health experts regarding the use of LLMs for therapy. Seeking to answer this question, we collected real CBT corpus from online video websites, designed and conducted a targeted automatic evaluation framework involving the evaluation of emotion tendency of generated text, structured dialogue pattern and proactive inquiry ability. For emotion tendency, we calculate the emotion tendency score of the CBT dialogue text generated by each model. For structured dialogue pattern, we use a diverse range of automatic evaluation metrics to compare speaking style, the ability to maintain consistency of topic and the use of technology in CBT between different models . As for inquiring to guide the patient, we utilize PQA (Proactive Questioning Ability) metric. We also evaluated the CBT ability of the LLM after integrating a CBT knowledge base to explore the help of introducing additional knowledge to enhance the model's CBT counseling ability. Four LLM variants with excellent performance on natural language processing are evaluated, and the experimental result shows the great potential of LLMs in psychological counseling realm, especially after combining with other technological means.