RedditESS: A Mental Health Social Support Interaction Dataset -- Understanding Effective Social Support to Refine AI-Driven Support Tools
作者: Zeyad Alghamdi, Tharindu Kumarage, Garima Agrawal, Mansooreh Karami, Ibrahim Almuteb, Huan Liu
分类: cs.CL, cs.AI
发布日期: 2025-03-27
💡 一句话要点
提出RedditESS数据集，用于提升AI心理健康支持工具的有效性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心理健康 社交支持 大型语言模型 数据集 AI助手
📋 核心要点
- 现有AI心理健康支持工具侧重于情感回应，忽略了信息指导、社区验证等关键维度，导致支持效果受限。
- 论文构建RedditESS数据集，基于社会科学理论，标注Reddit帖子中支持性评论的有效性，以此理解有效支持的构成。
- 通过RedditESS指导LLM对齐，使其生成更贴合语境、更有帮助的支持性回复，验证了数据集的实用价值。
📝 摘要（中文）
有效的心理健康支持对于缓解心理困扰至关重要。虽然基于大型语言模型（LLM）的助手在心理健康干预方面显示出前景，但现有研究通常主要根据同情性认可来定义“有效”支持，而忽略了其他重要维度，例如信息指导、社区验证和切实的应对策略。为了解决这一局限性并更好地理解构成有效支持的要素，我们引入了RedditESS，这是一个源自Reddit帖子（包括支持性评论和原始发帖者的后续回复）的新型真实世界数据集。基于已建立的社会科学理论，我们开发了一种集成标注机制，以将支持性评论标注为有效或无效，并进行定性评估以确保标注的可靠性。此外，我们通过使用RedditESS来指导LLM对齐，使其生成更具上下文敏感性和真正有帮助的支持性回复，从而证明了RedditESS的实际效用。通过拓宽对有效支持的理解，我们的研究为先进的AI驱动的心理健康干预铺平了道路。
🔬 方法详解
问题定义：现有基于LLM的心理健康支持工具主要关注情感共鸣，未能充分覆盖信息指导、社区认同、实用策略等有效支持的关键维度。这导致AI提供的支持可能不够全面，无法有效缓解用户的心理困扰。
核心思路：论文的核心在于构建一个高质量的、标注了有效支持行为的数据集，并利用该数据集来指导LLM生成更有效的心理健康支持回复。通过学习真实世界中有效的支持互动模式，提升AI的同理心和问题解决能力。
技术框架：整体框架包括数据收集、数据标注和LLM对齐三个主要阶段。首先，从Reddit的心理健康相关板块收集帖子和评论数据。然后，基于社会科学理论，设计集成标注机制，对支持性评论进行有效性标注。最后，利用标注后的RedditESS数据集，通过微调或强化学习等方法，对LLM进行对齐，使其能够生成更有效的支持性回复。
关键创新：关键创新在于数据集的构建和标注方法。RedditESS数据集不仅包含支持性评论，还包括原始发帖者的后续反馈，从而能够更准确地评估支持的有效性。此外，论文采用集成标注机制，结合多种标注方法，提高了标注的可靠性和准确性。
关键设计：集成标注机制是关键设计之一，具体细节未知。LLM对齐的具体方法（微调或强化学习）也未知，但目标是使LLM能够生成更符合RedditESS数据集中有效支持模式的回复。数据集的规模和标注质量是影响最终效果的关键因素。
🖼️ 关键图片
📊 实验亮点
论文通过实验证明，使用RedditESS数据集对LLM进行对齐后，生成的支持性回复更具上下文敏感性和实用性。具体性能提升数据未知，但实验结果表明，RedditESS能够有效指导LLM生成更符合用户需求的心理健康支持。
🎯 应用场景
该研究成果可应用于开发更智能、更有效的AI心理健康助手，为用户提供个性化的心理支持和干预。此外，该数据集可用于训练其他类型的AI对话系统，提升其在情感支持和问题解决方面的能力。未来，该研究有望促进AI在心理健康领域的更广泛应用，例如在线心理咨询、危机干预等。
📄 摘要（原文）
Effective mental health support is crucial for alleviating psychological distress. While large language model (LLM)-based assistants have shown promise in mental health interventions, existing research often defines "effective" support primarily in terms of empathetic acknowledgments, overlooking other essential dimensions such as informational guidance, community validation, and tangible coping strategies. To address this limitation and better understand what constitutes effective support, we introduce RedditESS, a novel real-world dataset derived from Reddit posts, including supportive comments and original posters' follow-up responses. Grounded in established social science theories, we develop an ensemble labeling mechanism to annotate supportive comments as effective or not and perform qualitative assessments to ensure the reliability of the annotations. Additionally, we demonstrate the practical utility of RedditESS by using it to guide LLM alignment toward generating more context-sensitive and genuinely helpful supportive responses. By broadening the understanding of effective support, our study paves the way for advanced AI-driven mental health interventions.