Structure vs. Chain-of-Thought: Evaluating LLM Criteria Extraction for Depression Severity

📄 arXiv: 2609.39049v1 📥 PDF

作者: Xinkai Chen

分类: cs.CL, cs.AI

发布日期: 2026-09-30

备注: Extended version of a paper accepted at MHSM 2026 (IEEE ICDM 2026 workshop). 14 pages, 1 figure. Code: https://github.com/xinkaichen97/depseverity-artifact

💡 一句话要点

比较结构与思维链方法在抑郁症严重程度评估中的应用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 抑郁症评估 大型语言模型 社交媒体分析 临床标准提取 模型校准

📋 核心要点

  1. 现有方法在抑郁症严重程度评估中存在准确性不足的问题，尤其是在社交媒体文本分析中。
  2. 论文提出通过大型语言模型提取临床标准，并与思维链方法进行比较，以提高评估的可审计性和准确性。
  3. 实验结果表明，尽管提取标准在某些情况下表现优于思维链，但整体上未能显著提高抑郁症严重程度的检测能力。

📝 摘要（中文）

本研究探讨了大型语言模型（LLM）在社交媒体帖子中直接评估抑郁症严重程度与提取临床标准的有效性。通过对两个Reddit语料库的比较，使用三种不同规模的LLM和两种问卷（PHQ-9，BDI-II），研究发现提取标准的效果在某些情况下优于思维链，但整体提升不显著。尤其是，使用先前设定的阈值时，提取标准在两个语料库上均未显示出优势。研究还揭示了不同模型在抑郁社区语料库中的表现差异，强调了模型校准的重要性。

🔬 方法详解

问题定义：本研究旨在解决大型语言模型在社交媒体帖子中评估抑郁症严重程度的准确性问题。现有方法在提取临床标准时存在显著的误判和漏判，尤其是在缺乏标签的情况下。

核心思路：论文的核心思路是比较直接评估与提取临床标准的效果，通过使用不同规模的LLM，探索在不同数据集上的表现差异，以确定哪种方法更具有效性和可审计性。

技术框架：研究采用了三种不同规模的LLM（从9B到前沿模型），并在两个Reddit语料库上进行实验。使用PHQ-9和BDI-II问卷作为评估标准，通过二次加权kappa来测量模型的协议程度。

关键创新：最重要的技术创新点在于对比了提取标准与思维链方法的效果，发现提取标准在特定条件下表现优于思维链，但整体提升不显著，强调了模型校准的重要性。

关键设计：在实验中，使用了固定的阈值来自PHQ-9的标准进行评估，且在不同语料库中对模型的表现进行了详细分析，特别关注了模型在抑郁社区语料库中的表现差异。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，尽管提取标准在某些情况下优于思维链方法，但整体上未能显著提高抑郁症严重程度的检测能力。特别是，使用先前设定的阈值时，提取标准在两个语料库上均未显示出优势，强调了模型校准的重要性。

🎯 应用场景

该研究的潜在应用领域包括心理健康监测、社交媒体情感分析和临床决策支持。通过提高抑郁症严重程度评估的准确性，能够帮助临床医生更好地理解患者的心理状态，从而制定更有效的干预措施。未来，该方法可能在更广泛的心理健康领域中得到应用，促进早期识别和干预。

📄 摘要（原文）

A large language model (LLM) can rate depression severity directly from a social media post or mark which clinical criteria the post shows and let code turn the count into a label. The latter is easier to audit because a clinician can check each marked criterion. We compare these approaches on two Reddit corpora using three LLMs (from 9B to frontier scale) and two questionnaires (PHQ-9, BDI-II), and measure agreement with quadratic weighted kappa. For the two frontier models, criteria extraction scores above chain-of-thought on one corpus only when its decision thresholds are fitted on labeled data. Neither model's gain is significant, with or without recalibrating chain-of-thought on the same labels. With thresholds fixed a priori from PHQ-9's criteria, extraction shows no gain on either corpus, even where models mark over two criteria per post. The 9B model behaves differently on a corpus from depression communities. It labels most posts severe, whether prompted directly or with chain-of-thought, while the a priori rule beats both without labels. After chain-of-thought is recalibrated on the same labels, no significant gap remains, consistent with a calibration effect. Yet higher ordinal agreement does not ensure better detection of severe cases. PHQ-9 criteria extraction misses most severe posts, and moving from direct prompting to chain-of-thought and then to extraction increases misses in nearly all comparisons. On the primary corpus, a relabeled stress dataset, a model using that dataset's own features, including word counts from the text, is not significantly different from frontier criteria extraction under the a priori rule.