PsyCoT: Psychological Questionnaire as Powerful Chain-of-Thought for Personality Detection

📄 arXiv: 2310.20256v2 📥 PDF

作者: Tao Yang, Tianyuan Shi, Fanqi Wan, Xiaojun Quan, Qifan Wang, Bingzhe Wu, Jiaxiang Wu

分类: cs.CL

发布日期: 2023-10-31 (更新: 2023-11-05)

备注: Accepted to Findings of EMNLP 2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出PsyCoT以提升个性检测的准确性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性检测 心理问卷 多轮对话 大型语言模型 自然语言处理 推断能力 文本分析

📋 核心要点

  1. 现有方法在个性检测中未能充分利用心理问卷的结构化思维过程，导致推断准确性不足。
  2. PsyCoT方法通过模拟心理问卷的多轮对话，利用LLM进行个性特征的评估与推断。
  3. 实验结果显示，PsyCoT在两个基准数据集上相较于标准提示方法，F1分数平均提升了4.23/10.63分，表现显著增强。

📝 摘要（中文）

近年来，大型语言模型（LLMs）如ChatGPT在各种自然语言处理任务中展现了卓越的零-shot性能。然而，LLMs在个性检测中的潜力尚未得到充分探索。本文借鉴心理问卷的设计理念，提出PsyCoT方法，通过多轮对话模拟个体完成心理问卷的过程，从而提高LLMs在文本输入中对个性的推断能力。实验结果表明，PsyCoT显著提升了GPT-3.5在个性检测中的表现，F1分数平均提高了4.23/10.63分，展示了其在这一领域的有效性。

🔬 方法详解

问题定义：本文旨在解决个性检测中现有方法未能有效利用心理问卷结构的问题，导致个性推断的准确性和鲁棒性不足。

核心思路：PsyCoT通过模拟个体在心理问卷中的多轮对话过程，利用LLM对个性特征进行逐项评估，从而提升推断的合理性和准确性。

技术框架：该方法的整体架构包括一个LLM作为文本分析的AI助手，分为多轮对话的评估阶段，每轮对个性特征进行评分，并利用历史评分结果进行综合推断。

关键创新：PsyCoT的核心创新在于将心理问卷的结构化思维过程引入个性检测，显著提升了LLM在此任务上的推断能力，与传统方法相比，提供了更为系统的评估机制。

关键设计：在设计中，采用了多轮对话的交互方式，设置了针对个性特征的评分标准，并通过历史评分的累积来形成最终的个性偏好推断。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PsyCoT在个性检测任务中显著提升了GPT-3.5的性能，F1分数在两个基准数据集上分别提高了4.23和10.63分，显示出其在个性推断方面的有效性和鲁棒性。

🎯 应用场景

PsyCoT方法在个性检测领域具有广泛的应用潜力，能够用于心理健康评估、招聘筛选、社交媒体分析等场景。通过更准确的个性识别，能够帮助企业和机构更好地理解个体特征，从而优化决策和服务。未来，该方法还可能扩展到其他领域，如教育和人机交互等。

📄 摘要（原文）

Recent advances in large language models (LLMs), such as ChatGPT, have showcased remarkable zero-shot performance across various NLP tasks. However, the potential of LLMs in personality detection, which involves identifying an individual's personality from their written texts, remains largely unexplored. Drawing inspiration from Psychological Questionnaires, which are carefully designed by psychologists to evaluate individual personality traits through a series of targeted items, we argue that these items can be regarded as a collection of well-structured chain-of-thought (CoT) processes. By incorporating these processes, LLMs can enhance their capabilities to make more reasonable inferences on personality from textual input. In light of this, we propose a novel personality detection method, called PsyCoT, which mimics the way individuals complete psychological questionnaires in a multi-turn dialogue manner. In particular, we employ a LLM as an AI assistant with a specialization in text analysis. We prompt the assistant to rate individual items at each turn and leverage the historical rating results to derive a conclusive personality preference. Our experiments demonstrate that PsyCoT significantly improves the performance and robustness of GPT-3.5 in personality detection, achieving an average F1 score improvement of 4.23/10.63 points on two benchmark datasets compared to the standard prompting method. Our code is available at https://github.com/TaoYang225/PsyCoT.