GSIFN: A Graph-Structured and Interlaced-Masked Multimodal Transformer-based Fusion Network for Multimodal Sentiment Analysis

📄 arXiv: 2408.14809v4 📥 PDF

作者: Yijie Jin

分类: cs.CL

发布日期: 2024-08-27 (更新: 2024-12-03)

备注: Withdraw for the error in the paper

💡 一句话要点

提出GSIFN，利用图结构和交错掩码Transformer融合网络提升多模态情感分析性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 图神经网络 Transformer 交错掩码 自监督学习

📋 核心要点

  1. 现有MSA模型在多模态融合时存在模态组合解耦和参数冗余问题，导致融合性能和效率不足。
  2. GSIFN利用图结构和交错掩码Transformer，构建鲁棒的多模态图嵌入，实现高效的all-modal-in-one融合。
  3. GSIFN在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上表现出优越性能，并显著降低了计算开销。

📝 摘要（中文）

多模态情感分析(MSA)利用多个数据模态来分析人类情感。现有的MSA模型通常采用先进的多模态融合和表征学习方法来提升MSA能力。然而，存在两个关键挑战：（i）现有的多模态融合方法中，模态组合的解耦和巨大的参数冗余导致融合性能和效率不足；（ii）在单模态特征提取器和编码器中，表征能力和计算开销之间存在着具有挑战性的权衡。我们提出的GSIFN包含两个主要组成部分来解决这些问题：（i）一种图结构和交错掩码多模态Transformer。它采用交错掩码机制来构建鲁棒的多模态图嵌入，实现all-modal-in-one的基于Transformer的融合，并大大降低计算开销；（ii）一个具有低计算开销和高性能的自监督学习框架，它利用带有矩阵记忆的并行LSTM来增强非语言模态特征，用于单模态标签生成。在MSA数据集CMU-MOSI、CMU-MOSEI和CH-SIMS上进行评估，GSIFN与之前的state-of-the-art模型相比，表现出卓越的性能，同时显著降低了计算开销。

🔬 方法详解

问题定义：论文旨在解决多模态情感分析中，现有方法在多模态融合时存在的效率和性能瓶颈。具体来说，现有方法在模态组合上存在解耦，导致信息损失，同时参数冗余增加了计算负担。此外，单模态特征提取器需要在表征能力和计算开销之间进行权衡，难以兼顾。

核心思路：论文的核心思路是利用图结构来建模模态之间的关系，并采用交错掩码Transformer来实现高效的模态融合。通过图结构，可以更好地捕捉模态间的依赖关系。交错掩码机制则可以在降低计算复杂度的同时，保持模型的表征能力。此外，论文还引入了自监督学习框架来增强非语言模态特征。

技术框架：GSIFN主要包含两个核心模块：图结构和交错掩码多模态Transformer以及自监督学习框架。首先，利用图结构对多模态数据进行建模，生成多模态图嵌入。然后，将图嵌入输入到交错掩码Transformer中进行融合。最后，利用自监督学习框架，通过并行LSTM和矩阵记忆来增强非语言模态特征，并生成单模态标签。

关键创新：GSIFN的关键创新在于以下几点：(1) 提出了一种图结构和交错掩码Transformer，能够有效地融合多模态信息，并降低计算开销。(2) 引入了交错掩码机制，可以在不损失过多信息的情况下，减少Transformer的计算复杂度。(3) 设计了一个自监督学习框架，用于增强非语言模态特征，提高模型的整体性能。与现有方法相比，GSIFN在融合效率和表征能力上都取得了显著提升。

关键设计：在图结构方面，论文可能采用了某种图神经网络（GNN）来学习多模态图嵌入，具体的GNN类型（如GCN、GAT等）未知。交错掩码Transformer的关键在于掩码策略的设计，具体如何交错地掩盖不同模态的信息未知。自监督学习框架中，并行LSTM的具体结构和矩阵记忆的实现方式也未知。损失函数方面，除了情感分类的交叉熵损失外，可能还包含自监督学习的损失函数，具体形式未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GSIFN在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上取得了state-of-the-art的性能，同时显著降低了计算开销。具体的性能提升幅度以及与哪些基线模型进行了比较，摘要中未提供详细数据，属于未知信息。

🎯 应用场景

GSIFN可应用于各种多模态情感分析场景，例如社交媒体情感分析、客户服务对话分析、视频内容理解等。该研究有助于更准确地理解人类情感，提升人机交互体验，并为情感计算领域的研究提供新的思路。

📄 摘要（原文）

Multimodal Sentiment Analysis (MSA) leverages multiple data modals to analyze human sentiment. Existing MSA models generally employ cutting-edge multimodal fusion and representation learning-based methods to promote MSA capability. However, there are two key challenges: (i) in existing multimodal fusion methods, the decoupling of modal combinations and tremendous parameter redundancy, lead to insufficient fusion performance and efficiency; (ii) a challenging trade-off exists between representation capability and computational overhead in unimodal feature extractors and encoders. Our proposed GSIFN incorporates two main components to solve these problems: (i) a graph-structured and interlaced-masked multimodal Transformer. It adopts the Interlaced Mask mechanism to construct robust multimodal graph embedding, achieve all-modal-in-one Transformer-based fusion, and greatly reduce the computational overhead; (ii) a self-supervised learning framework with low computational overhead and high performance, which utilizes a parallelized LSTM with matrix memory to enhance non-verbal modal features for unimodal label generation. Evaluated on the MSA datasets CMU-MOSI, CMU-MOSEI, and CH-SIMS, GSIFN demonstrates superior performance with significantly lower computational overhead compared with previous state-of-the-art models.