Does Rationale Quality Matter? Enhancing Mental Disorder Detection via Selective Reasoning Distillation

📄 arXiv: 2505.20014v1 📥 PDF

作者: Hoyun Song, Huije Lee, Jisu Shin, Sukmin Cho, Changgeon Ko, Jong C. Park

分类: cs.CL

发布日期: 2025-05-26

💡 一句话要点

通过选择性推理蒸馏提升心理健康检测效果，关注高质量理由

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 心理健康检测 推理蒸馏 理由质量 领域知识 小型语言模型

📋 核心要点

  1. 现有方法在利用LLM生成心理健康检测的解释性理由时，面临LLM参数量大、计算成本高的挑战。
  2. 论文提出一种选择性推理蒸馏框架，通过选择与专家临床推理对齐的高质量理由来提升SLM的性能。
  3. 实验结果表明，该方法显著提高了SLM在精神障碍检测和理由生成方面的性能，验证了理由质量的重要性。

📝 摘要（中文）

本文探讨了如何利用社交媒体检测心理健康问题并解释结果。研究表明，将临床症状信息融入模型可以增强领域专业知识，从而提高检测和解释性能。大型语言模型（LLM）在生成心理健康检测的解释性理由方面表现出色，但其庞大的参数规模和高计算成本限制了实用性。推理蒸馏将这种能力转移到较小的语言模型（SLM），但LLM生成的理由在相关性和领域对齐方面存在不一致性，这构成了一个挑战。本文研究了理由质量如何影响SLM在心理健康检测和解释生成方面的性能。我们假设确保高质量和领域相关的理由可以增强蒸馏效果。为此，我们提出了一个框架，该框架根据理由与专家临床推理的对齐程度来选择理由。实验表明，我们以质量为中心的方法显著提高了SLM在精神障碍检测和理由生成方面的性能。这项工作强调了理由质量的重要性，并为心理健康应用中的知识转移提供了一个有见地的框架。

🔬 方法详解

问题定义：论文旨在解决将大型语言模型（LLM）的推理能力迁移到小型语言模型（SLM）时，由于LLM生成的理由质量参差不齐，导致SLM性能受限的问题。现有方法直接使用LLM生成的全部理由进行蒸馏，忽略了理由的相关性和领域对齐问题，这会降低SLM的检测和解释能力。

核心思路：论文的核心思路是，理由的质量直接影响推理蒸馏的效果。因此，通过选择高质量、与领域相关的理由进行蒸馏，可以显著提升SLM在心理健康检测和解释生成方面的性能。具体来说，就是选择与专家临床推理对齐的理由，确保蒸馏过程传递的是更可靠和有用的知识。

技术框架：论文提出的框架包含以下主要阶段：1) 使用LLM生成候选理由；2) 使用专家临床推理作为标准，评估候选理由的质量，选择高质量的理由；3) 使用选择的高质量理由对SLM进行推理蒸馏训练，使其具备心理健康检测和解释生成能力。整体流程旨在过滤掉LLM生成的噪声理由，只保留对SLM学习有益的信息。

关键创新：论文的关键创新在于提出了一个基于理由质量的选择性推理蒸馏框架。与以往直接使用LLM生成的所有理由进行蒸馏的方法不同，该框架强调理由质量的重要性，并设计了一种基于专家临床推理的理由选择机制。这种方法能够更有效地将LLM的知识迁移到SLM，提升SLM在特定领域的性能。

关键设计：论文的关键设计包括：1) 使用领域专家知识（临床推理）作为理由质量的评估标准；2) 设计合理的评估指标来衡量理由与专家临床推理的对齐程度；3) 使用选择的高质量理由，通过标准的蒸馏损失函数（例如，KL散度）训练SLM。具体的参数设置和网络结构可能依赖于所使用的LLM和SLM，以及具体的心理健康检测任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，通过选择高质量的理由进行蒸馏，SLM在心理健康检测和理由生成方面的性能得到了显著提升。具体的性能数据（例如，准确率、F1值等）和与基线模型的对比结果在论文中进行了详细展示。论文强调，与直接使用LLM生成的所有理由进行蒸馏相比，该方法能够更有效地提升SLM的性能，验证了理由质量的重要性。

🎯 应用场景

该研究成果可应用于心理健康领域的智能辅助诊断、社交媒体舆情分析、以及个性化心理健康干预等方面。通过提升小型语言模型在心理健康检测和解释方面的能力，可以降低计算成本，方便部署在资源受限的环境中，从而更广泛地服务于有需要的人群。未来，该方法可以推广到其他需要领域知识的文本理解任务中。

📄 摘要（原文）

The detection of mental health problems from social media and the interpretation of these results have been extensively explored. Research has shown that incorporating clinical symptom information into a model enhances domain expertise, improving its detection and interpretation performance. While large language models (LLMs) are shown to be effective for generating explanatory rationales in mental health detection, their substantially large parameter size and high computational cost limit their practicality. Reasoning distillation transfers this ability to smaller language models (SLMs), but inconsistencies in the relevance and domain alignment of LLM-generated rationales pose a challenge. This paper investigates how rationale quality impacts SLM performance in mental health detection and explanation generation. We hypothesize that ensuring high-quality and domain-relevant rationales enhances the distillation. To this end, we propose a framework that selects rationales based on their alignment with expert clinical reasoning. Experiments show that our quality-focused approach significantly enhances SLM performance in both mental disorder detection and rationale generation. This work highlights the importance of rationale quality and offers an insightful framework for knowledge transfer in mental health applications.