Does "Reasoning" with Large Language Models Improve Recognizing, Generating, and Reframing Unhelpful Thoughts?

📄 arXiv: 2504.00163v1 📥 PDF

作者: Yilin Qi, Dong Won Lee, Cynthia Breazeal, Hae Won Park

分类: cs.CL, cs.AI

发布日期: 2025-03-31

备注: 8 pages, 3 figures (including appendix)

💡 一句话要点

利用LLM推理能力改进认知行为疗法中不良想法的识别、生成与重构

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知重构 大型语言模型 推理能力 认知行为疗法 Chain-of-Thought Self-Consistency 心理健康 认知扭曲

📋 核心要点

  1. 现有方法在认知行为疗法中，对不良想法的识别、生成和重构效率较低，缺乏有效的自动化工具。
  2. 利用大型语言模型的推理能力，模拟批判性思维过程，辅助识别、生成和重构认知扭曲。
  3. 通过实验验证，增强推理策略即使在较早的LLM上也能超越先进的预训练推理模型。

📝 摘要（中文）

认知重构是认知行为疗法(CBT)的核心组成部分，它通过寻找积极意义来帮助个体重新解读消极体验。大型语言模型(LLM)的最新进展表明，基于推理的策略可以提高性能。这启发了一个有前景的方向，即利用LLM的推理能力，通过模拟批判性思维过程来改进CBT和心理重构，从而可能更有效地识别、生成和重构认知扭曲。本文研究了各种推理方法的作用，包括预训练的推理LLM和增强的推理策略（如CoT和自洽性），以增强LLM执行认知重构任务的能力。研究发现，即使应用于像GPT-3.5这样的“过时”LLM，增强的推理方法在识别、生成和重构不良想法方面始终优于最先进的预训练推理模型。

🔬 方法详解

问题定义：论文旨在解决认知行为疗法中，如何更有效地识别、生成和重构不良想法的问题。现有方法依赖人工干预，效率低且成本高。利用LLM进行认知重构面临的挑战在于，如何有效地引导LLM进行推理，模拟人类的批判性思维过程，从而产生高质量的重构结果。

核心思路：论文的核心思路是利用LLM的推理能力，特别是通过引入增强的推理策略，如Chain-of-Thought (CoT) 和 Self-Consistency，来提升LLM在认知重构任务中的表现。CoT通过引导LLM逐步推理，模拟人类的思考过程，而Self-Consistency则通过生成多个推理路径，并选择最一致的答案，来提高结果的可靠性。

技术框架：论文采用的整体框架是：首先，针对不良想法的识别、生成和重构三个任务，构建相应的数据集。然后，将这些数据集用于评估不同LLM和推理策略的表现。具体而言，论文比较了预训练的推理LLM（state-of-the-art pretrained reasoning models）和应用了增强推理策略（CoT和Self-Consistency）的LLM（包括GPT-3.5）。最后，通过实验分析，评估不同方法在三个任务上的性能。

关键创新：论文的关键创新在于，证明了即使是相对“过时”的LLM，通过应用合适的增强推理策略，也能在认知重构任务中超越专门的预训练推理模型。这表明，推理策略的重要性可能超过了模型本身的大小和训练数据量。

关键设计：论文的关键设计包括：(1) 针对认知重构任务设计了特定的prompt，以引导LLM进行推理；(2) 采用了CoT和Self-Consistency两种增强推理策略，并比较了它们的效果；(3) 针对识别、生成和重构三个任务，分别设计了评估指标，以全面评估不同方法的性能。具体的参数设置和网络结构取决于所使用的LLM（如GPT-3.5），论文主要关注的是推理策略的应用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使是GPT-3.5这样的“过时”LLM，在应用CoT和Self-Consistency等增强推理策略后，在识别、生成和重构不良想法的任务中，性能始终优于最先进的预训练推理模型。这突出了推理策略在认知重构任务中的重要性。

🎯 应用场景

该研究成果可应用于开发智能心理健康助手，帮助用户识别和重构不良想法，从而改善心理健康状况。此外，该方法还可以扩展到其他需要批判性思维和问题解决的领域，如决策支持系统和智能客服。

📄 摘要（原文）

Cognitive Reframing, a core element of Cognitive Behavioral Therapy (CBT), helps individuals reinterpret negative experiences by finding positive meaning. Recent advances in Large Language Models (LLMs) have demonstrated improved performance through reasoning-based strategies. This inspires a promising direction of leveraging the reasoning capabilities of LLMs to improve CBT and mental reframing by simulating the process of critical thinking, potentially enabling more effective recognition, generation, and reframing of cognitive distortions. In this work, we investigate the role of various reasoning methods, including pre-trained reasoning LLMs and augmented reasoning strategies such as CoT and self-consistency in enhancing LLMs' ability to perform cognitive reframing tasks. We find that augmented reasoning methods, even when applied to "outdated" LLMs like GPT-3.5, consistently outperform state-of-the-art pretrained reasoning models on recognizing, generating and reframing unhelpful thoughts.