Enhancing Multimodal Sentiment Analysis for Missing Modality through Self-Distillation and Unified Modality Cross-Attention

📄 arXiv: 2410.15029v2 📥 PDF

作者: Yuzhe Weng, Haotian Wang, Tian Gao, Kewei Li, Shutong Niu, Jun Du

分类: cs.CL, cs.AI

发布日期: 2024-10-19 (更新: 2025-03-24)

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于自蒸馏和统一模态交叉注意力的多模态情感分析方法，有效处理缺失模态问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 模态缺失 自蒸馏 交叉注意力 模态想象 LLM Rank-N Contrast

📋 核心要点

  1. 多模态情感分析面临文本数据获取困难，标注成本高昂且ASR质量参差不齐。
  2. 提出双流自蒸馏框架，利用统一模态交叉注意力和模态想象自编码器处理模态缺失。
  3. 实验表明，该模型在CMU-MOSEI数据集上表现出色，尤其在文本模态缺失时优势明显。

📝 摘要（中文）

针对多模态情感分析中，文本数据因标注成本高和自动语音识别(ASR)质量不稳定而难以收集的问题，本研究提出了一种鲁棒的模型，即使在缺少文本模态的情况下也能有效整合多模态情感信息。具体而言，我们开发了一个双流自蒸馏框架，包括统一模态交叉注意力(UMCA)和模态想象自编码器(MIA)，该框架擅长处理模态完整和文本模态缺失两种场景。当文本模态缺失时，我们的框架使用基于LLM的模型从音频模态模拟文本表示，同时MIA模块补充来自其他两个模态的信息，使模拟的文本表示与真实的文本表示相似。为了进一步对齐模拟和真实的表示，并使模型能够捕捉情感效价回归任务中样本顺序的连续性，我们还引入了Rank-N Contrast (RNC)损失函数。在CMU-MOSEI数据集上的测试表明，我们的模型在MAE指标上取得了出色的性能，并且在文本模态缺失时显著优于其他模型。

🔬 方法详解

问题定义：多模态情感分析任务中，文本模态的数据获取成本较高，且自动语音识别（ASR）的质量不稳定，导致文本模态经常缺失。现有方法在处理模态缺失问题时，通常性能会显著下降，无法充分利用其他模态的信息进行情感推断。

核心思路：论文的核心思路是利用自蒸馏框架，通过模态想象自编码器（MIA）和统一模态交叉注意力（UMCA）来弥补缺失的文本模态信息。具体来说，当文本模态缺失时，利用大型语言模型（LLM）从其他模态（如音频）生成伪文本表示，并使用MIA模块增强该伪文本表示，使其尽可能接近真实的文本表示。这样设计的目的是让模型在没有真实文本的情况下，也能有效地进行情感分析。

技术框架：整体框架是一个双流自蒸馏框架，包含两个主要分支：一个处理完整模态数据，另一个处理缺失文本模态的数据。对于缺失文本模态的分支，首先使用LLM从音频模态生成伪文本表示，然后通过MIA模块利用其他模态的信息进行增强。UMCA模块用于在不同模态之间进行交叉注意力交互，从而更好地融合多模态信息。最后，使用Rank-N Contrast (RNC)损失函数来对齐模拟和真实的文本表示，并捕捉情感的连续性。

关键创新：该论文的关键创新在于提出了双流自蒸馏框架，该框架能够有效地处理多模态情感分析中的模态缺失问题。MIA模块和UMCA模块的结合，使得模型能够更好地利用其他模态的信息来弥补缺失模态的信息，从而提高模型的鲁棒性和性能。此外，RNC损失函数的设计也有助于模型学习情感的连续性。

关键设计：MIA模块的具体实现细节未知，但其核心思想是利用自编码器的结构，将其他模态的信息编码到潜在空间中，然后解码生成伪文本表示。UMCA模块采用多头注意力机制，允许不同模态之间进行灵活的交互。RNC损失函数的具体形式未知，但其目标是拉近模拟文本表示和真实文本表示之间的距离，并保持情感的相对顺序。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该模型在CMU-MOSEI数据集上取得了显著的性能提升，尤其是在文本模态缺失的情况下。具体指标未知，但摘要中提到在MAE指标上表现出色，并且显著优于其他模型。这表明该模型在处理模态缺失问题上具有很强的竞争力。

🎯 应用场景

该研究成果可应用于智能客服、舆情监控、情感机器人等领域。在这些场景中，由于数据采集的限制，经常会出现模态缺失的情况。该模型能够有效处理这些情况，提高情感分析的准确性和鲁棒性，从而提升用户体验和决策效率。未来，该方法可以扩展到其他多模态任务中，例如视频理解、人机交互等。

📄 摘要（原文）

In multimodal sentiment analysis, collecting text data is often more challenging than video or audio due to higher annotation costs and inconsistent automatic speech recognition (ASR) quality. To address this challenge, our study has developed a robust model that effectively integrates multimodal sentiment information, even in the absence of text modality. Specifically, we have developed a Double-Flow Self-Distillation Framework, including Unified Modality Cross-Attention (UMCA) and Modality Imagination Autoencoder (MIA), which excels at processing both scenarios with complete modalities and those with missing text modality. In detail, when the text modality is missing, our framework uses the LLM-based model to simulate the text representation from the audio modality, while the MIA module supplements information from the other two modalities to make the simulated text representation similar to the real text representation. To further align the simulated and real representations, and to enable the model to capture the continuous nature of sample orders in sentiment valence regression tasks, we have also introduced the Rank-N Contrast (RNC) loss function. When testing on the CMU-MOSEI, our model achieved outstanding performance on MAE and significantly outperformed other models when text modality is missing. The code is available at: https://github.com/WarmCongee/SDUMC