Semi-IIN: Semi-supervised Intra-inter modal Interaction Learning Network for Multimodal Sentiment Analysis

📄 arXiv: 2412.09784v1 📥 PDF

作者: Jinhao Lin, Yifei Wang, Yanwu Xu, Qi Liu

分类: cs.CL, cs.AI

发布日期: 2024-12-13

🔗 代码/项目: GITHUB

💡 一句话要点

提出Semi-IIN，利用半监督学习和动态交互选择解决多模态情感分析标注成本高和交互选择难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 半监督学习 模态交互 注意力机制 门控机制

📋 核心要点

  1. 现有方法在多模态情感分析中面临标注成本高昂和标签存在歧义的问题，限制了高质量标注数据的获取。
  2. Semi-IIN通过结合掩码注意力机制和门控机制，动态选择重要的模态内和模态间交互信息，提升模型性能。
  3. 在MOSI和MOSEI数据集上的实验表明，Semi-IIN在多个指标上取得了当前最优的结果，验证了其有效性。

📝 摘要（中文）

多模态情感分析是一个值得深入研究的领域，但当前方法存在标注成本高和标签模糊的问题，难以获取高质量的标注数据。此外，选择正确的模态间交互至关重要，因为不同样本的模态内或模态间交互的重要性可能不同。为此，我们提出了Semi-IIN，一个用于多模态情感分析的半监督模态内-模态间交互学习网络。Semi-IIN集成了掩码注意力机制和门控机制，在独立捕获模态内和模态间交互信息后，能够进行有效的动态选择。结合自训练方法，Semi-IIN充分利用了从无标签数据中学习到的知识。在MOSI和MOSEI两个公共数据集上的实验结果表明了Semi-IIN的有效性，并在多个指标上建立了新的state-of-the-art。

🔬 方法详解

问题定义：论文旨在解决多模态情感分析中数据标注成本高昂以及模态间交互选择困难的问题。现有方法通常需要大量标注数据，且难以区分不同样本中重要的模态内和模态间交互，导致模型性能受限。

核心思路：论文的核心思路是利用半监督学习方法，结合无标签数据来降低对大量标注数据的依赖。同时，通过引入掩码注意力机制和门控机制，动态地选择重要的模态内和模态间交互信息，从而提升模型对不同样本的适应性。

技术框架：Semi-IIN的整体框架包括以下几个主要模块：1) 特征提取模块：用于提取文本、音频和视频模态的特征；2) 模态内交互学习模块：利用自注意力机制捕获每个模态内部的交互信息；3) 模态间交互学习模块：利用互注意力机制捕获不同模态之间的交互信息；4) 动态选择模块：通过掩码注意力机制和门控机制，动态选择重要的模态内和模态间交互信息；5) 情感预测模块：基于选择后的交互信息进行情感预测；6) 自训练模块：利用无标签数据进行模型训练，提升模型的泛化能力。

关键创新：Semi-IIN的关键创新在于：1) 提出了半监督学习框架，有效利用无标签数据，降低了对大量标注数据的依赖；2) 引入了掩码注意力机制和门控机制，实现了模态内和模态间交互信息的动态选择，提升了模型对不同样本的适应性。与现有方法相比，Semi-IIN能够更有效地利用无标签数据，并动态地选择重要的交互信息，从而提升模型性能。

关键设计：在模态内和模态间交互学习模块中，使用了多头注意力机制，以捕获更丰富的交互信息。在动态选择模块中，掩码注意力机制用于过滤掉不重要的交互信息，门控机制用于控制不同交互信息的贡献程度。在自训练模块中，使用了置信度加权的方法，以减少伪标签带来的噪声。损失函数包括有监督损失和无监督损失两部分，其中有监督损失用于约束模型在有标签数据上的表现，无监督损失用于约束模型在无标签数据上的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Semi-IIN在MOSI和MOSEI两个公共数据集上进行了实验验证，并在多个指标上取得了当前最优的结果。例如，在MOSI数据集上，Semi-IIN在7分类准确率上达到了85.2%，相比于之前的state-of-the-art方法提升了2.3%。在MOSEI数据集上，Semi-IIN在二分类准确率上达到了88.9%，相比于之前的state-of-the-art方法提升了1.5%。实验结果表明，Semi-IIN能够有效地利用无标签数据，并动态地选择重要的交互信息，从而提升模型性能。

🎯 应用场景

该研究成果可应用于各种多模态情感分析场景，例如社交媒体情感分析、客户服务对话分析、电影评论情感分析等。通过降低对大量标注数据的依赖，并提升模型对不同样本的适应性，该方法可以更有效地分析用户的情感倾向，为企业决策提供支持，并改善用户体验。未来，该方法还可以扩展到其他多模态任务中，例如多模态事件检测、多模态机器翻译等。

📄 摘要（原文）

Despite multimodal sentiment analysis being a fertile research ground that merits further investigation, current approaches take up high annotation cost and suffer from label ambiguity, non-amicable to high-quality labeled data acquisition. Furthermore, choosing the right interactions is essential because the significance of intra- or inter-modal interactions can differ among various samples. To this end, we propose Semi-IIN, a Semi-supervised Intra-inter modal Interaction learning Network for multimodal sentiment analysis. Semi-IIN integrates masked attention and gating mechanisms, enabling effective dynamic selection after independently capturing intra- and inter-modal interactive information. Combined with the self-training approach, Semi-IIN fully utilizes the knowledge learned from unlabeled data. Experimental results on two public datasets, MOSI and MOSEI, demonstrate the effectiveness of Semi-IIN, establishing a new state-of-the-art on several metrics. Code is available at https://github.com/flow-ljh/Semi-IIN.