Rethinking Suicidal Ideation Detection: A Trustworthy Annotation Framework and Cross-Lingual Model Evaluation
作者: Amina Dzafic, Merve Kavut, Ulya Bayram
分类: cs.CL, cs.AI, cs.CY, cs.LG
发布日期: 2025-07-19
备注: This manuscript has been submitted to the IEEE Journal of Biomedical and Health Informatics
💡 一句话要点
提出可信标注框架并进行跨语言模型评估，以提升自杀意念检测的可靠性。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自杀意念检测 跨语言学习 自然语言处理 数据标注 迁移学习
📋 核心要点
- 现有自杀意念检测数据集主要集中在英语，且标注质量参差不齐，缺乏对标注过程和标签可靠性的深入评估。
- 论文构建了土耳其语自杀意念语料库，并提出一种结合人工标注和大型语言模型的资源高效标注框架。
- 通过跨语言迁移学习，评估了不同数据集的标注一致性和模型性能，揭示了现有模型在零样本迁移学习中的局限性。
📝 摘要（中文）
自杀意念检测对于实时预防自杀至关重要，但其进展面临两个未被充分探索的挑战：有限的语言覆盖和不可靠的标注实践。现有数据集大多为英语，但即使在这些数据集中，高质量的人工标注数据仍然稀缺。因此，许多研究依赖于现有的预标注数据集，而没有检查其标注过程或标签可靠性。其他语言数据集的缺乏进一步限制了通过人工智能（AI）在全球范围内实现自杀预防。本研究通过构建一个新的土耳其语自杀意念语料库（来源于社交媒体帖子）并引入一种资源高效的标注框架（涉及三个人工标注员和两个大型语言模型（LLM））来解决其中一个差距。然后，我们通过使用八个预训练的情感和情绪分类器进行迁移学习，对该数据集和三个流行的英语自杀意念检测数据集进行标签可靠性和模型一致性的双向评估，从而解决剩余的差距。这些transformers有助于评估标注一致性，并根据手动标注的数据对模型性能进行基准测试。我们的研究结果强调，在心理健康自然语言处理（NLP）中，需要更严格、更具语言包容性的标注和评估方法，同时证明了流行的模型在零样本迁移学习中的表现值得怀疑。我们提倡心理健康NLP中模型训练和数据集构建的透明度，优先考虑数据和模型的可靠性。
🔬 方法详解
问题定义：现有自杀意念检测研究主要集中在英语数据集上，缺乏其他语言的数据支持，限制了模型的跨语言泛化能力。同时，现有数据集的标注质量和可靠性未得到充分验证，可能导致模型训练偏差。因此，需要构建高质量的多语言数据集，并对现有模型的跨语言性能进行可靠评估。
核心思路：论文的核心思路是构建一个高质量的土耳其语自杀意念数据集，并利用该数据集对现有英语数据集的标注质量和模型的跨语言性能进行评估。通过结合人工标注和大型语言模型，提高标注效率和一致性。利用迁移学习，评估模型在不同语言数据集上的泛化能力。
技术框架：整体框架包括数据收集、数据标注、模型训练和模型评估四个主要阶段。数据收集阶段从土耳其语社交媒体平台收集相关文本数据。数据标注阶段采用三个人工标注员和两个大型语言模型进行协同标注，并计算标注一致性。模型训练阶段使用预训练的情感和情绪分类器进行迁移学习，在不同语言数据集上训练自杀意念检测模型。模型评估阶段对模型的性能进行评估，并分析模型的跨语言泛化能力。
关键创新：论文的关键创新在于提出了一个资源高效的标注框架，该框架结合了人工标注和大型语言模型，提高了标注效率和一致性。此外，论文还构建了一个高质量的土耳其语自杀意念数据集，填补了该领域在土耳其语数据上的空白。论文还对现有模型的跨语言性能进行了全面评估，揭示了现有模型在零样本迁移学习中的局限性。
关键设计：在数据标注阶段，论文采用了三个人工标注员和两个大型语言模型进行协同标注，并使用Kappa系数等指标评估标注一致性。在模型训练阶段，论文使用了八个预训练的情感和情绪分类器进行迁移学习，并选择了合适的损失函数和优化器进行模型训练。在模型评估阶段，论文使用了准确率、召回率、F1值等指标评估模型的性能。
🖼️ 关键图片
📊 实验亮点
研究表明，现有模型在零样本跨语言迁移学习中表现不佳，强调了高质量多语言数据集的重要性。通过对土耳其语数据集的构建和评估，揭示了现有英语数据集可能存在的标注偏差。该研究为未来构建更可靠、更具泛化能力的自杀意念检测模型提供了重要参考。
🎯 应用场景
该研究成果可应用于构建多语言自杀意念检测系统，为全球范围内的自杀预防工作提供技术支持。高质量的土耳其语数据集可用于训练更准确的土耳其语自杀意念检测模型。该研究提出的标注框架可推广到其他语言和领域，提高数据标注的效率和质量。研究结果也提醒研究者关注数据质量和模型可靠性，推动心理健康NLP领域的健康发展。
📄 摘要（原文）
Suicidal ideation detection is critical for real-time suicide prevention, yet its progress faces two under-explored challenges: limited language coverage and unreliable annotation practices. Most available datasets are in English, but even among these, high-quality, human-annotated data remains scarce. As a result, many studies rely on available pre-labeled datasets without examining their annotation process or label reliability. The lack of datasets in other languages further limits the global realization of suicide prevention via artificial intelligence (AI). In this study, we address one of these gaps by constructing a novel Turkish suicidal ideation corpus derived from social media posts and introducing a resource-efficient annotation framework involving three human annotators and two large language models (LLMs). We then address the remaining gaps by performing a bidirectional evaluation of label reliability and model consistency across this dataset and three popular English suicidal ideation detection datasets, using transfer learning through eight pre-trained sentiment and emotion classifiers. These transformers help assess annotation consistency and benchmark model performance against manually labeled data. Our findings underscore the need for more rigorous, language-inclusive approaches to annotation and evaluation in mental health natural language processing (NLP) while demonstrating the questionable performance of popular models with zero-shot transfer learning. We advocate for transparency in model training and dataset construction in mental health NLP, prioritizing data and model reliability.