Understanding Student Sentiment on Mental Health Support in Colleges Using Large Language Models

📄 arXiv: 2412.04326v1 📥 PDF

作者: Palak Sood, Chengyang He, Divyanshu Gupta, Yue Ning, Ping Wang

分类: cs.CL, cs.AI, cs.CY

发布日期: 2024-11-18

备注: Accepted by '2024 IEEE International Conference on Big Data (IEEE BigData 2024)'. The paper has 8 pages, 2 figures, 4 tables

💡 一句话要点

利用大型语言模型分析大学生心理健康支持的情感倾向

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 情感分析 大型语言模型 心理健康 大学生 人机协作

📋 核心要点

  1. 现有心理健康支持评估缺乏有效数据和标准化指标，限制了研究的深入性。
  2. 该研究利用大型语言模型分析学生情感，并构建了人机协作的情感分析数据集SMILE-College。
  3. 实验表明GPT-3.5和BERT在SMILE-College数据集上表现出色，为心理健康研究提供新思路。

📝 摘要（中文）

大学中的心理健康支持通过提供咨询服务和组织支持性活动，在学生教育中起着至关重要的作用。然而，评估其有效性面临数据收集困难和缺乏标准化指标等挑战，限制了研究范围。学生反馈对于评估至关重要，但通常依赖于定性分析，而缺乏使用先进机器学习方法的系统性研究。本文使用公开的学生声音调查数据，利用大型语言模型（LLM）分析学生对心理健康支持的情感。我们创建了一个情感分析数据集SMILE-College，通过人机协作完成。对传统机器学习方法和最先进的LLM的调查表明，GPT-3.5和BERT在这个新数据集上表现最佳。该分析突出了准确预测响应情感的挑战，并提供了关于LLM如何加强心理健康相关研究和改善大学心理健康服务的实践见解。这种数据驱动的方法将促进高效和知情的心理健康支持评估、管理和决策。

🔬 方法详解

问题定义：论文旨在解决如何有效评估大学生对心理健康支持的情感倾向问题。现有方法主要依赖定性分析，缺乏系统性和可扩展性，难以从大规模学生反馈中提取有价值的信息。此外，缺乏专门针对大学生心理健康支持情感分析的数据集，限制了机器学习方法的应用。

核心思路：论文的核心思路是利用大型语言模型（LLMs）的强大自然语言处理能力，对学生反馈进行情感分析，从而更准确、高效地评估学生对心理健康支持的满意度和需求。通过构建专门的数据集SMILE-College，并结合人机协作的方式，提高情感分析的准确性和可靠性。

技术框架：整体框架包括数据收集、数据集构建、模型训练和情感分析四个主要阶段。首先，从公开的学生声音调查数据中收集学生反馈。然后，通过人工标注和机器辅助的方式构建SMILE-College数据集。接着，使用传统机器学习方法（如支持向量机）和先进的LLMs（如BERT和GPT-3.5）在SMILE-College数据集上进行训练。最后，对训练好的模型进行评估，并分析学生情感倾向。

关键创新：论文的关键创新在于构建了专门针对大学生心理健康支持情感分析的SMILE-College数据集，并结合人机协作的方式提高数据质量。此外，论文探索了LLMs在情感分析中的应用，并验证了其在处理大学生心理健康支持相关文本方面的有效性。

关键设计：SMILE-College数据集的构建采用了人工标注和机器辅助相结合的方式，以提高标注质量和效率。在模型训练方面，论文比较了传统机器学习方法和LLMs的性能，并针对LLMs进行了微调，以适应特定任务。具体的参数设置和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GPT-3.5和BERT在SMILE-College数据集上表现最佳，验证了LLMs在大学生心理健康支持情感分析中的有效性。虽然具体的性能数据和提升幅度未在摘要中明确给出，但研究强调了LLMs在准确预测情感方面的潜力，并为后续研究提供了基准。

🎯 应用场景

该研究成果可应用于高校心理健康服务评估与改进，帮助学校更好地了解学生需求，优化资源配置，提升心理健康支持服务的质量和覆盖范围。此外，该方法也可推广到其他领域，如企业员工满意度调查、医疗服务评估等，具有广泛的应用前景。

📄 摘要（原文）

Mental health support in colleges is vital in educating students by offering counseling services and organizing supportive events. However, evaluating its effectiveness faces challenges like data collection difficulties and lack of standardized metrics, limiting research scope. Student feedback is crucial for evaluation but often relies on qualitative analysis without systematic investigation using advanced machine learning methods. This paper uses public Student Voice Survey data to analyze student sentiments on mental health support with large language models (LLMs). We created a sentiment analysis dataset, SMILE-College, with human-machine collaboration. The investigation of both traditional machine learning methods and state-of-the-art LLMs showed the best performance of GPT-3.5 and BERT on this new dataset. The analysis highlights challenges in accurately predicting response sentiments and offers practical insights on how LLMs can enhance mental health-related research and improve college mental health services. This data-driven approach will facilitate efficient and informed mental health support evaluation, management, and decision-making.