Leveraging Large Language Models for Suicide Detection on Social Media with Limited Labels
作者: Vy Nguyen, Chau Pham
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-10-06 (更新: 2024-11-01)
备注: Accepted at IEEE International Conference on Big Data 2024
🔗 代码/项目: GITHUB
💡 一句话要点
利用大语言模型和有限标签进行社交媒体自杀检测
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自杀检测 社交媒体 大语言模型 伪标签 模型微调
📋 核心要点
- 社交媒体充斥大量用户数据，人工审核自杀倾向内容不现实，亟需自动检测方法。
- 利用大语言模型生成伪标签，并结合微调技术，提升自杀倾向检测模型的准确性。
- 集成Qwen2-72B-Instruct等模型，实验表明F1分数提升5%，为社交媒体自杀检测提供有效方案。
📝 摘要（中文）
自杀意念的日益频繁凸显了早期检测和干预的重要性。社交媒体平台是用户分享个人经历和寻求帮助的场所，可以被用来识别有风险的个体。然而，每天大量的帖子使得人工审查变得不切实际。本文探讨了使用大型语言模型（LLMs）自动检测基于文本的社交媒体帖子中的自杀内容。我们提出了一种新颖的方法，通过提示LLMs为未标记数据生成伪标签，并结合传统的分类微调技术来提高标签准确性。为了创建一个强大的自杀检测模型，我们开发了一种集成方法，包括使用Qwen2-72B-Instruct进行提示，以及使用微调模型，如Llama3-8B、Llama3.1-8B和Gemma2-9B。我们在IEEE Big Data 2024 Big Data Cup的社交媒体自杀意念检测挑战赛的数据集上评估了我们的方法。此外，我们进行了全面的分析，以评估不同模型和微调策略对检测性能的影响。实验结果表明，与单个模型相比，集成模型显著提高了检测精度，提高了5个百分点。它在公共测试集上实现了0.770的加权F1分数，在私有测试集上实现了0.731的加权F1分数，为识别社交媒体中的自杀内容提供了一个有希望的解决方案。我们的分析表明，LLMs的选择会影响提示性能，更大的模型提供更好的准确性。我们的代码和检查点可在https://github.com/khanhvynguyen/Suicide_Detection_LLMs公开获得。
🔬 方法详解
问题定义：论文旨在解决社交媒体上自杀倾向内容的自动检测问题。现有方法依赖人工标注数据，成本高昂且难以扩展。直接使用传统机器学习方法，在数据量不足的情况下，效果往往不佳。因此，如何在有限标注数据的情况下，有效利用海量未标注数据，是本研究要解决的核心问题。
核心思路：论文的核心思路是利用大语言模型（LLMs）的强大生成能力，为未标注数据生成伪标签，从而扩充训练数据集。然后，利用这些伪标签数据，结合少量人工标注数据，对较小的语言模型进行微调，最终得到一个高性能的自杀倾向检测模型。这样既能降低人工标注成本，又能充分利用未标注数据，提高模型泛化能力。
技术框架：整体框架包含以下几个主要阶段：1) 伪标签生成：使用大型语言模型（如Qwen2-72B-Instruct）对未标注的社交媒体文本进行提示，生成伪标签。2) 模型微调：使用生成的伪标签数据和少量人工标注数据，对较小的语言模型（如Llama3-8B、Llama3.1-8B、Gemma2-9B）进行微调。3) 模型集成：将多个微调后的模型进行集成，以进一步提高检测性能。4) 评估：在公开和私有测试集上评估集成模型的性能。
关键创新：该论文的关键创新在于提出了一种基于大语言模型生成伪标签的自杀倾向检测方法。与传统的半监督学习方法相比，该方法能够更有效地利用未标注数据，并显著提高检测性能。此外，论文还探索了不同大语言模型和微调策略对检测性能的影响，为实际应用提供了有价值的指导。
关键设计：在伪标签生成阶段，论文采用了精心设计的提示语，以引导大语言模型生成高质量的伪标签。在模型微调阶段，论文采用了交叉熵损失函数，并对不同模型的学习率和训练轮数进行了调整。在模型集成阶段，论文采用了加权平均的方法，根据不同模型的性能赋予不同的权重。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该论文提出的集成模型在社交媒体自杀意念检测任务上取得了显著的性能提升。在公共测试集上，该模型达到了0.770的加权F1分数，在私有测试集上达到了0.731的加权F1分数，相比于单个模型，性能提升了5个百分点。这表明该方法能够有效地利用大语言模型和有限标签数据，提高自杀倾向检测的准确性。
🎯 应用场景
该研究成果可应用于社交媒体平台的内容审核，自动识别并标记具有自杀倾向的用户，以便及时进行心理干预和危机干预。此外，该方法也可推广到其他文本分类任务中，例如网络欺凌检测、仇恨言论识别等，具有广泛的应用前景和社会价值。
📄 摘要（原文）
The increasing frequency of suicidal thoughts highlights the importance of early detection and intervention. Social media platforms, where users often share personal experiences and seek help, could be utilized to identify individuals at risk. However, the large volume of daily posts makes manual review impractical. This paper explores the use of Large Language Models (LLMs) to automatically detect suicidal content in text-based social media posts. We propose a novel method for generating pseudo-labels for unlabeled data by prompting LLMs, along with traditional classification fine-tuning techniques to enhance label accuracy. To create a strong suicide detection model, we develop an ensemble approach involving prompting with Qwen2-72B-Instruct, and using fine-tuned models such as Llama3-8B, Llama3.1-8B, and Gemma2-9B. We evaluate our approach on the dataset of the Suicide Ideation Detection on Social Media Challenge, a track of the IEEE Big Data 2024 Big Data Cup. Additionally, we conduct a comprehensive analysis to assess the impact of different models and fine-tuning strategies on detection performance. Experimental results show that the ensemble model significantly improves the detection accuracy, by 5% points compared with the individual models. It achieves a weight F1 score of 0.770 on the public test set, and 0.731 on the private test set, providing a promising solution for identifying suicidal content in social media. Our analysis shows that the choice of LLMs affects the prompting performance, with larger models providing better accuracy. Our code and checkpoints are publicly available at https://github.com/khanhvynguyen/Suicide_Detection_LLMs.