Differentially Private Multimodal Laplacian Dropout (DP-MLD) for EEG Representative Learning

📄 arXiv: 2409.13440v1 📥 PDF

作者: Xiaowen Fu, Bingxin Wang, Xinzhou Guo, Guoqing Liu, Yang Xiang

分类: eess.SP, cs.AI, cs.CR, cs.LG

发布日期: 2024-09-20

💡 一句话要点

提出差分隐私多模态拉普拉斯Dropout（DP-MLD）方案，用于脑电图代表性学习，提升帕金森病步态冻结检测精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 差分隐私 多模态学习 脑电图 特征提取 帕金森病 步态冻结 拉普拉斯Dropout

📋 核心要点

  1. 现有多模态脑电图学习方法在差分隐私保护下性能不足，难以平衡隐私保护和模型性能。
  2. 提出DP-MLD方案，利用语言模型和视觉Transformer处理不同模态数据，并设计自适应特征级拉普拉斯dropout实现差分隐私。
  3. 实验结果表明，该方法在帕金森病步态冻结检测任务中，分类精度提升约4%，达到当前最优水平。

📝 摘要（中文）

近年来，多模态脑电图（EEG）学习在疾病检测方面显示出巨大的潜力。同时，由于法律和伦理方面的考虑，确保临床研究中的隐私变得越来越重要。差分隐私（DP）因其清晰的解释和易于实现而被广泛采用。尽管在DP下已经提出了许多方法，但由于模型和信号数据的复杂性，它尚未在多模态脑电图数据中得到广泛研究。在本文中，我们提出了一种新颖的差分隐私多模态拉普拉斯Dropout（DP-MLD）方案，用于多模态脑电图学习。我们的方法提出了一种新的多模态代表性学习模型，该模型通过语言模型将脑电图数据处理为文本，并通过视觉Transformer将其他模态数据处理为图像，结合精心设计的交叉注意力机制，以有效地提取和整合跨模态特征。为了实现DP，我们设计了一种新颖的自适应特征级拉普拉斯dropout方案，在该方案中，随机性分配和性能在给定的隐私预算内动态优化。在帕金森病（PD）步态冻结（FoG）的开源多模态数据集上的实验表明，我们提出的方法在分类精度方面提高了约4％，并在DP下的多模态脑电图学习中实现了最先进的性能。

🔬 方法详解

问题定义：论文旨在解决多模态脑电图（EEG）学习中，如何在保护数据隐私的前提下，有效提取和融合不同模态的特征，从而提高疾病检测的准确率。现有方法在差分隐私（DP）保护下，往往面临模型复杂度高、信号数据复杂等挑战，导致性能显著下降。

核心思路：论文的核心思路是将不同模态的脑电图数据分别用适合其特性的模型处理：将脑电信号视为文本，使用语言模型进行处理；将其他模态数据视为图像，使用视觉Transformer进行处理。同时，设计交叉注意力机制来融合不同模态的特征。为了实现差分隐私，引入自适应特征级拉普拉斯dropout，在保证隐私预算的前提下，动态优化随机性分配和模型性能。

技术框架：整体框架包含以下几个主要模块：1) 数据预处理：对不同模态的脑电图数据进行预处理，使其适应后续模型的输入格式。2) 特征提取：使用语言模型（如Transformer）提取脑电信号的文本特征，使用视觉Transformer提取其他模态数据的图像特征。3) 特征融合：通过交叉注意力机制，将不同模态的特征进行融合，得到多模态融合特征。4) 分类器：使用分类器（如全连接层）对融合特征进行分类，预测疾病状态。5) 差分隐私保护：在特征提取阶段，使用自适应特征级拉普拉斯dropout，对特征进行扰动，实现差分隐私保护。

关键创新：论文的关键创新在于：1) 提出了一种新的多模态代表性学习模型，能够有效处理不同模态的脑电图数据。2) 设计了一种自适应特征级拉普拉斯dropout方案，能够在保证隐私预算的前提下，动态优化随机性分配和模型性能。3) 将语言模型和视觉Transformer应用于多模态脑电图学习，充分利用了不同模型的优势。

关键设计：自适应特征级拉普拉斯dropout的关键设计在于：1) 根据特征的重要性动态调整dropout的概率，对重要特征进行较小的扰动，对不重要特征进行较大的扰动。2) 在给定的隐私预算下，通过优化算法（如梯度下降）来确定每个特征的dropout概率，从而最大化模型性能。3) 损失函数包括分类损失和隐私损失，通过平衡这两个损失来控制隐私保护的强度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在帕金森病步态冻结（FoG）的开源多模态数据集上，提出的DP-MLD方法在分类精度方面比现有方法提高了约4％，并在差分隐私保护下实现了最先进的性能。这验证了该方法在平衡隐私保护和模型性能方面的有效性。

🎯 应用场景

该研究成果可应用于帕金森病、癫痫等神经系统疾病的辅助诊断和监测。通过保护患者隐私，促进多中心临床数据的共享和利用，加速相关疾病的研究和治疗进展。未来可扩展到其他多模态医疗数据分析场景，例如结合基因数据、影像数据等进行疾病预测。

📄 摘要（原文）

Recently, multimodal electroencephalogram (EEG) learning has shown great promise in disease detection. At the same time, ensuring privacy in clinical studies has become increasingly crucial due to legal and ethical concerns. One widely adopted scheme for privacy protection is differential privacy (DP) because of its clear interpretation and ease of implementation. Although numerous methods have been proposed under DP, it has not been extensively studied for multimodal EEG data due to the complexities of models and signal data considered there. In this paper, we propose a novel Differentially Private Multimodal Laplacian Dropout (DP-MLD) scheme for multimodal EEG learning. Our approach proposes a novel multimodal representative learning model that processes EEG data by language models as text and other modal data by vision transformers as images, incorporating well-designed cross-attention mechanisms to effectively extract and integrate cross-modal features. To achieve DP, we design a novel adaptive feature-level Laplacian dropout scheme, where randomness allocation and performance are dynamically optimized within given privacy budgets. In the experiment on an open-source multimodal dataset of Freezing of Gait (FoG) in Parkinson's Disease (PD), our proposed method demonstrates an approximate 4\% improvement in classification accuracy, and achieves state-of-the-art performance in multimodal EEG learning under DP.