When LLM Therapists Become Salespeople: Evaluating Large Language Models for Ethical Motivational Interviewing

📄 arXiv: 2503.23566v1 📥 PDF

作者: Haein Kong, Seonghyeon Moon

分类: cs.CL

发布日期: 2025-03-30

💡 一句话要点

评估大型语言模型在伦理动机访谈中的应用，发现其伦理意识不足并提出改进方案

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 动机访谈 伦理意识 心理治疗 伦理链提示

📋 核心要点

  1. 现有研究缺乏对大型语言模型在动机访谈（MI）中伦理意识的评估，这可能导致不道德的应用。
  2. 论文提出伦理链提示（Chain-of-Ethic prompt）方法，旨在提高LLM在MI中的伦理意识和安全性。
  3. 实验结果表明，该方法有效提升了LLM生成伦理MI响应和检测不伦理响应的性能。

📝 摘要（中文）

大型语言模型（LLMs）已广泛应用于心理健康领域。最近的研究表明，LLMs在心理治疗，特别是动机访谈（MI）方面具有潜力。然而，目前缺乏研究调查语言模型对MI伦理的理解。考虑到恶意行为者可能利用语言模型进行不道德的MI实践，评估其区分伦理和不伦理MI实践的能力至关重要。因此，本研究通过多项实验调查了LLMs在MI中的伦理意识。研究结果表明，LLMs在MI方面具有中等到较强的知识水平。然而，它们的伦理标准与MI精神不符，因为它们会生成不道德的反应，并且在检测不道德反应方面表现不佳。我们提出了一种伦理链提示（Chain-of-Ethic prompt）来缓解这些风险并提高安全性。最后，我们提出的策略有效地提高了伦理MI响应生成和检测性能。这些发现强调了构建基于伦理LLM的心理治疗的安全评估和指南的必要性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）在动机访谈（MI）应用中存在的伦理风险问题。现有方法缺乏对LLMs伦理意识的评估，可能导致其在MI实践中产生不道德的反应，甚至被恶意利用。

核心思路：论文的核心思路是通过引入“伦理链提示”（Chain-of-Ethic prompt）来引导LLMs在生成和判断MI响应时更加注重伦理原则。该方法旨在使LLMs的伦理标准与MI精神保持一致，从而提高其在MI应用中的安全性。

技术框架：论文的技术框架主要包括以下几个步骤：1) 构建包含伦理和不伦理MI案例的数据集；2) 使用LLMs生成MI响应并进行伦理评估；3) 引入“伦理链提示”来指导LLMs的响应生成和评估；4) 对比使用和不使用“伦理链提示”时LLMs的性能。

关键创新：论文的关键创新在于提出了“伦理链提示”方法，这是一种通过明确的伦理指导来提高LLMs伦理意识的有效手段。与直接使用LLMs进行MI不同，该方法强调了伦理原则的重要性，并将其融入到LLMs的决策过程中。

关键设计：关于“伦理链提示”的具体设计细节，论文中可能包含以下内容：1) 伦理原则的选取，例如尊重自主性、避免伤害等；2) 提示语的构建方式，例如使用自然语言描述伦理原则，并将其与具体的MI场景相结合；3) 提示语的插入位置，例如在生成响应之前或评估响应之后；4) 提示语的强度，例如使用不同的权重来控制伦理原则的影响力。这些具体设计细节决定了“伦理链提示”的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的“伦理链提示”方法能够有效提高LLM生成伦理MI响应和检测不伦理响应的性能。具体而言，使用该方法后，LLM生成更符合伦理规范的MI响应的比例显著提升，同时，其识别不伦理MI响应的准确率也得到了提高。这些结果验证了该方法在提高LLM伦理意识方面的有效性。

🎯 应用场景

该研究成果可应用于开发更安全、更符合伦理规范的AI心理治疗工具。通过提高LLM在动机访谈等领域的伦理意识，可以减少其被恶意利用的风险，并为患者提供更可靠的心理健康支持。未来，该研究思路可以推广到其他涉及伦理考量的AI应用领域。

📄 摘要（原文）

Large language models (LLMs) have been actively applied in the mental health field. Recent research shows the promise of LLMs in applying psychotherapy, especially motivational interviewing (MI). However, there is a lack of studies investigating how language models understand MI ethics. Given the risks that malicious actors can use language models to apply MI for unethical purposes, it is important to evaluate their capability of differentiating ethical and unethical MI practices. Thus, this study investigates the ethical awareness of LLMs in MI with multiple experiments. Our findings show that LLMs have a moderate to strong level of knowledge in MI. However, their ethical standards are not aligned with the MI spirit, as they generated unethical responses and performed poorly in detecting unethical responses. We proposed a Chain-of-Ethic prompt to mitigate those risks and improve safety. Finally, our proposed strategy effectively improved ethical MI response generation and detection performance. These findings highlight the need for safety evaluations and guidelines for building ethical LLM-powered psychotherapy.