CogniVoice: Multimodal and Multilingual Fusion Networks for Mild Cognitive Impairment Assessment from Spontaneous Speech

📄 arXiv: 2407.13660v1 📥 PDF

作者: Jiali Cheng, Mohamed Elgaar, Nidhi Vakil, Hadi Amiri

分类: cs.LG, cs.SD, eess.AS

发布日期: 2024-07-18

备注: INTERSPEECH 2024

💡 一句话要点

CogniVoice：多模态多语种融合网络用于从语音中评估轻度认知障碍

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 轻度认知障碍 多模态融合 多语种学习 语音分析 认知评估

📋 核心要点

  1. 轻度认知障碍（MCI）的现有检测方法依赖于耗时且昂贵的临床评估，缺乏高效的自动化分析手段。
  2. CogniVoice利用语音数据及其文本转录，通过多模态和多语种融合，提升MCI检测和MMSE评分的准确性。
  3. 实验结果表明，CogniVoice在MCI分类和MMSE回归任务上显著优于现有基线模型，并减小了跨语言的性能差异。

📝 摘要（中文）

本文介绍了一种新颖的多语种和多模态框架CogniVoice，通过分析语音数据及其文本转录来检测轻度认知障碍（MCI）并估计简易精神状态检查（MMSE）分数。CogniVoice的关键组成部分是基于“专家乘积”的集成多模态和多语种网络，旨在减轻对捷径解决方案的依赖。通过使用来自TAUKADIAL挑战赛的包含英语和中文的综合数据集，CogniVoice在MCI分类和MMSE回归任务上分别优于最佳基线模型2.8和4.1个F1和RMSE点，并且可以有效地将不同语言组之间的性能差距缩小0.7个F1点。

🔬 方法详解

问题定义：论文旨在解决轻度认知障碍（MCI）的自动检测和简易精神状态检查（MMSE）评分问题。现有方法通常依赖于单一模态数据或特定语言，并且容易受到数据捷径的影响，导致泛化能力不足。

核心思路：论文的核心思路是利用多模态（语音和文本）和多语种（英语和中文）数据，通过“专家乘积”集成方法，融合不同模态和语言的信息，从而提高MCI检测和MMSE评分的准确性和鲁棒性。这种方法旨在减少模型对单一特征的过度依赖，从而避免捷径学习。

技术框架：CogniVoice框架包含以下主要模块：1) 语音特征提取模块，用于提取语音的声学特征；2) 文本特征提取模块，用于提取文本的语义特征；3) 多模态融合模块，将语音和文本特征进行融合；4) 多语种融合模块，将不同语言的数据进行融合；5) 分类/回归模块，用于MCI分类和MMSE评分。整体流程是先分别提取语音和文本特征，然后进行多模态和多语种融合，最后进行分类或回归。

关键创新：论文的关键创新在于采用了基于“专家乘积”的集成方法，将不同模态和语言的模型视为不同的“专家”，通过乘积的方式进行融合。这种方法可以有效地利用不同专家的优势，避免单一专家的局限性，从而提高模型的整体性能。此外，该框架同时考虑了多模态和多语种信息，更贴近实际应用场景。

关键设计：在多模态融合方面，论文可能采用了注意力机制或者其他加权融合方法，以更好地利用不同模态的信息。在多语种融合方面，可能采用了跨语言表示学习或者其他迁移学习方法，以实现不同语言之间的知识共享。损失函数方面，可能采用了交叉熵损失函数（用于分类）和均方误差损失函数（用于回归）。具体的网络结构细节（如层数、神经元数量等）未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CogniVoice在TAUKADIAL挑战赛数据集上取得了显著的性能提升，在MCI分类任务上F1值提高了2.8个百分点，在MMSE回归任务上RMSE降低了4.1个单位。此外，该模型有效地缩小了不同语言组之间的性能差距，F1值差距减少了0.7个百分点，表明其具有良好的跨语言泛化能力。

🎯 应用场景

该研究成果可应用于智能医疗辅助诊断系统，帮助医生更快速、准确地诊断轻度认知障碍，并进行早期干预。此外，该技术还可用于老年人健康监测、智能语音助手等领域，提升老年人的生活质量和健康水平。未来，该研究可扩展到更多语言和模态，进一步提升MCI检测的准确性和泛化能力。

📄 摘要（原文）

Mild Cognitive Impairment (MCI) is a medical condition characterized by noticeable declines in memory and cognitive abilities, potentially affecting individual's daily activities. In this paper, we introduce CogniVoice, a novel multilingual and multimodal framework to detect MCI and estimate Mini-Mental State Examination (MMSE) scores by analyzing speech data and its textual transcriptions. The key component of CogniVoice is an ensemble multimodal and multilingual network based on ``Product of Experts'' that mitigates reliance on shortcut solutions. Using a comprehensive dataset containing both English and Chinese languages from TAUKADIAL challenge, CogniVoice outperforms the best performing baseline model on MCI classification and MMSE regression tasks by 2.8 and 4.1 points in F1 and RMSE respectively, and can effectively reduce the performance gap across different language groups by 0.7 points in F1.