Multimodal Machine Learning in Mental Health: A Survey of Data, Algorithms, and Challenges

📄 arXiv: 2407.16804v2 📥 PDF

作者: Zahraa Al Sahili, Ioannis Patras, Matthew Purver

分类: cs.LG, cs.AI, cs.CY, cs.ET

发布日期: 2024-07-23 (更新: 2025-06-24)

💡 一句话要点

综述性研究：多模态机器学习在精神健康领域的应用、算法与挑战

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态机器学习 精神健康 综述 数据融合 表征学习

📋 核心要点

  1. 现有精神健康研究依赖单一数据源，忽略了精神疾病复杂性，多模态融合是必然趋势。
  2. 本研究系统性地综述了多模态机器学习在精神健康领域的应用，涵盖数据集、算法和挑战。
  3. 通过分析26个数据集和28个模型，总结了表征学习和跨模态对齐的趋势，并探讨了未来方向。

📝 摘要（中文）

多模态机器学习（MML）正在迅速改变精神健康障碍的检测、表征和纵向监测方式。早期研究依赖于孤立的数据流——如语音、文本或可穿戴信号——而最近的研究则集中于集成异构模态的架构，以捕捉精神疾病丰富而复杂的特征。本综述提供了第一个全面且临床基础扎实的MML在精神健康领域的综合分析。我们（i）整理了26个涵盖音频、视觉、生理信号和文本模态的公共数据集；（ii）系统地比较了Transformer、图和混合融合策略在28个模型中的表现，突出了表征学习和跨模态对齐的趋势。除了总结当前的能力，我们还探讨了开放的挑战：数据治理和隐私、人口统计和交叉公平性、评估可解释性，以及多模态环境中精神健康障碍的复杂性。通过将方法论创新与精神病学实用性联系起来，本综述旨在引导机器学习研究人员和精神健康从业者走向下一代值得信赖的多模态决策支持系统。

🔬 方法详解

问题定义：当前精神健康研究主要依赖于单一模态的数据，例如仅使用语音、文本或生理信号。这种方法无法充分捕捉精神疾病的复杂性和异质性，导致诊断和监测的准确性受限。现有方法缺乏对不同模态信息之间关联的有效建模，难以实现全面的精神状态评估。

核心思路：本综述的核心思路是整合来自不同模态的信息，利用多模态机器学习（MML）技术，更全面、准确地理解和诊断精神健康问题。通过融合音频、视觉、生理信号和文本等多种数据源，可以捕捉到精神疾病更丰富、更细微的特征。

技术框架：本综述首先对现有的多模态精神健康数据集进行了整理和分类，涵盖了音频、视觉、生理信号和文本等多种模态。然后，对应用于这些数据的各种机器学习模型进行了系统性的比较，重点关注Transformer、图神经网络和混合融合策略。最后，探讨了该领域面临的挑战，包括数据治理、隐私保护、公平性、可解释性等。

关键创新：本综述的关键创新在于它是第一个全面且临床基础扎实的MML在精神健康领域的综合分析。它不仅总结了现有的研究成果，还深入探讨了该领域面临的挑战和未来的发展方向。通过将方法论创新与精神病学实用性联系起来，为未来的研究提供了指导。

关键设计：本综述的关键设计包括对数据集的详细分类、对模型的系统比较以及对挑战的深入探讨。在模型比较方面，重点关注了Transformer、图神经网络和混合融合策略，并分析了它们在表征学习和跨模态对齐方面的表现。在挑战方面，强调了数据治理、隐私保护、公平性和可解释性的重要性。

📊 实验亮点

该综述整理了26个公开的多模态精神健康数据集，并系统比较了28个模型的性能，涵盖Transformer、图神经网络等多种融合策略。研究强调了表征学习和跨模态对齐的重要性，并指出了数据治理、公平性和可解释性等关键挑战。

🎯 应用场景

该研究成果可应用于开发更准确、更可靠的精神健康诊断和监测工具。通过整合多种数据模态，可以实现对患者精神状态的全面评估，辅助医生进行更精准的诊断和治疗方案制定。此外，该研究还有助于开发个性化的精神健康干预措施，提高治疗效果。

📄 摘要（原文）

Multimodal machine learning (MML) is rapidly reshaping the way mental-health disorders are detected, characterized, and longitudinally monitored. Whereas early studies relied on isolated data streams -- such as speech, text, or wearable signals -- recent research has converged on architectures that integrate heterogeneous modalities to capture the rich, complex signatures of psychiatric conditions. This survey provides the first comprehensive, clinically grounded synthesis of MML for mental health. We (i) catalog 26 public datasets spanning audio, visual, physiological signals, and text modalities; (ii) systematically compare transformer, graph, and hybrid-based fusion strategies across 28 models, highlighting trends in representation learning and cross-modal alignment. Beyond summarizing current capabilities, we interrogate open challenges: data governance and privacy, demographic and intersectional fairness, evaluation explainability, and the complexity of mental health disorders in multimodal settings. By bridging methodological innovation with psychiatric utility, this survey aims to orient both ML researchers and mental-health practitioners toward the next generation of trustworthy, multimodal decision-support systems.