Retrieval-Augmented Multimodal Depression Detection

📄 arXiv: 2511.01892v1 📥 PDF

作者: Ruibo Hou, Shiyu Teng, Jiaqing Liu, Shurong Chai, Yinhao Li, Lanfen Lin, Yen-Wei Chen

分类: cs.LG, cs.CL

发布日期: 2025-10-29

备注: Accepted in IEEE EMBC 2025

💡 一句话要点

提出检索增强的多模态抑郁症检测框架，提升情感理解能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 抑郁症检测 检索增强生成 大型语言模型 情感分析

📋 核心要点

  1. 现有抑郁症检测方法依赖情感分析，但面临计算量大、领域差异和知识静态性等挑战。
  2. 论文提出RAG框架，通过检索相关情感内容并利用LLM生成情感提示，增强情感表征。
  3. 实验表明，该方法在AVEC 2019数据集上取得了SOTA性能，显著优于现有基线方法。

📝 摘要（中文）

本文提出了一种新颖的检索增强生成（RAG）框架，用于多模态抑郁症检测。现有方法利用情感分析来增强情感理解，但存在计算成本高、领域不匹配和静态知识限制等问题。针对这些问题，本文方法从情感数据集中检索与抑郁症相关文本在语义上相关的情感内容，并使用大型语言模型（LLM）生成情感提示（Emotion Prompt）作为辅助模态。该提示丰富了情感表征并提高了可解释性。在AVEC 2019数据集上的实验表明，该方法实现了最先进的性能，CCC为0.593，MAE为3.95，超过了之前的迁移学习和多任务学习基线。

🔬 方法详解

问题定义：现有的多模态抑郁症检测方法，特别是那些依赖情感分析的方法，存在三个主要的痛点：一是计算成本高昂，因为情感分析模型通常较为复杂；二是领域不匹配，通用情感分析模型可能无法很好地适应抑郁症相关的特定语境；三是知识静态性，无法动态地捕捉新的情感表达方式。这些问题限制了现有方法在实际应用中的效果和泛化能力。

核心思路：本文的核心思路是利用检索增强生成（RAG）框架，通过检索与输入文本语义相关的情感内容，并利用大型语言模型（LLM）生成情感提示（Emotion Prompt）。这种方法能够有效地将外部知识融入到情感表征中，从而提升模型的情感理解能力和抑郁症检测的准确性。RAG框架的优势在于能够动态地获取相关知识，并利用LLM进行知识融合和推理。

技术框架：该方法的整体框架包括以下几个主要模块：1) 输入多模态数据（文本、音频、视频）；2) 使用文本模态作为查询，从情感数据集中检索语义相关的情感内容；3) 利用大型语言模型（LLM）基于检索到的情感内容生成情感提示（Emotion Prompt）；4) 将情感提示作为辅助模态，与原始多模态数据进行融合；5) 使用融合后的数据训练抑郁症检测模型。

关键创新：该方法最重要的技术创新点在于引入了检索增强生成（RAG）框架，并将其应用于多模态抑郁症检测。与现有方法相比，该方法能够动态地获取相关情感知识，并利用LLM生成情感提示，从而更有效地提升情感表征能力。此外，该方法还能够提高模型的可解释性，因为情感提示能够提供关于模型决策过程的额外信息。

关键设计：在具体实现上，该方法的关键设计包括：1) 情感数据集的选择和构建；2) 检索算法的选择和优化，以保证检索到的情感内容与输入文本在语义上高度相关；3) 大型语言模型（LLM）的选择和微调，以保证其能够生成高质量的情感提示；4) 多模态数据融合策略的设计，以保证情感提示能够有效地融入到原始多模态数据中；5) 损失函数的设计，以优化模型的抑郁症检测性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在AVEC 2019数据集上取得了显著的性能提升，CCC达到了0.593，MAE降低至3.95，超越了现有的迁移学习和多任务学习基线方法。这些结果验证了RAG框架在多模态抑郁症检测中的有效性，并为未来的研究提供了新的方向。

🎯 应用场景

该研究成果可应用于智能心理健康评估、在线心理咨询、以及个性化心理干预等领域。通过更准确地检测抑郁症，可以帮助患者及时获得治疗，提高生活质量。未来，该技术有望集成到智能设备和应用程序中，实现随时随地的心理健康监测和支持。

📄 摘要（原文）

Multimodal deep learning has shown promise in depression detection by integrating text, audio, and video signals. Recent work leverages sentiment analysis to enhance emotional understanding, yet suffers from high computational cost, domain mismatch, and static knowledge limitations. To address these issues, we propose a novel Retrieval-Augmented Generation (RAG) framework. Given a depression-related text, our method retrieves semantically relevant emotional content from a sentiment dataset and uses a Large Language Model (LLM) to generate an Emotion Prompt as an auxiliary modality. This prompt enriches emotional representation and improves interpretability. Experiments on the AVEC 2019 dataset show our approach achieves state-of-the-art performance with CCC of 0.593 and MAE of 3.95, surpassing previous transfer learning and multi-task learning baselines.