Multimodal Sentiment Analysis on CMU-MOSEI Dataset using Transformer-based Models

📄 arXiv: 2505.06110v2 📥 PDF

作者: Jugal Gajjar, Kaustik Ranaware

分类: cs.CL, cs.AI

发布日期: 2025-05-09 (更新: 2025-07-15)

备注: 6 pages, 2 figures

💡 一句话要点

基于Transformer模型的多模态情感分析方法提升情感识别准确率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 Transformer模型 早期融合 情感识别 BERT编码器 跨模态交互 深度学习

📋 核心要点

  1. 现有的情感分析方法往往忽视了多模态信息的融合，导致情感识别的准确性不足。
  2. 本研究提出了一种基于Transformer的多模态情感分析方法，通过早期融合技术有效整合文本、音频和视觉信息。
  3. 实验结果显示，该方法在测试集上实现了97.87%的准确率和0.9682的F1-score，显著提升了情感分析的性能。

📝 摘要（中文）

本项目利用CMU-MOSEI数据集进行多模态情感分析，采用基于Transformer的模型，通过早期融合整合文本、音频和视觉模态。我们为每种模态使用BERT编码器提取嵌入，并在分类前进行拼接。模型在测试集上取得了97.87%的7类准确率和0.9682的F1-score，展示了早期融合在捕捉跨模态交互中的有效性。训练过程中使用了Adam优化（lr=1e-4）、dropout（0.3）和早停策略，以确保模型的泛化能力和鲁棒性。结果表明，Transformer架构在多模态情感建模中的优越性，低MAE（0.1060）表明情感强度预测的精确性。未来的工作可能会比较融合策略或增强可解释性。

🔬 方法详解

问题定义：本研究旨在解决多模态情感分析中的信息融合问题，现有方法往往无法有效整合文本、音频和视觉模态的信息，导致情感识别的准确性不足。

核心思路：论文提出通过早期融合技术，将不同模态的信息在分类前进行拼接，利用BERT编码器提取各模态的嵌入，从而增强模型对跨模态交互的理解能力。

技术框架：整体架构包括三个主要模块：文本模态、音频模态和视觉模态的BERT编码器，随后将提取的嵌入进行拼接，最后通过分类器进行情感分类。

关键创新：最重要的技术创新在于采用早期融合策略，显著提升了模型对多模态信息的捕捉能力，与传统的单一模态或后期融合方法相比，能够更好地捕捉情感的复杂性。

关键设计：在训练过程中，使用Adam优化器（学习率为1e-4）、dropout率设定为0.3，并采用早停策略以防止过拟合，确保模型的泛化能力和鲁棒性。

📊 实验亮点

实验结果表明，该模型在CMU-MOSEI数据集上实现了97.87%的7类准确率和0.9682的F1-score，表现出色。与传统方法相比，低MAE（0.1060）表明该模型在情感强度预测方面的高精度，展示了Transformer架构在多模态情感分析中的优势。

🎯 应用场景

该研究的潜在应用领域包括社交媒体情感分析、客户反馈处理和人机交互等。通过有效结合语言、音频和视觉信息，该方法能够提升情感识别的准确性，进而为相关行业提供更精准的用户情感洞察，具有重要的实际价值和未来影响。

📄 摘要（原文）

This project performs multimodal sentiment analysis using the CMU-MOSEI dataset, using transformer-based models with early fusion to integrate text, audio, and visual modalities. We employ BERT-based encoders for each modality, extracting embeddings that are concatenated before classification. The model achieves strong performance, with 97.87% 7-class accuracy and a 0.9682 F1-score on the test set, demonstrating the effectiveness of early fusion in capturing cross-modal interactions. The training utilized Adam optimization (lr=1e-4), dropout (0.3), and early stopping to ensure generalization and robustness. Results highlight the superiority of transformer architectures in modeling multimodal sentiment, with a low MAE (0.1060) indicating precise sentiment intensity prediction. Future work may compare fusion strategies or enhance interpretability. This approach utilizes multimodal learning by effectively combining linguistic, acoustic, and visual cues for sentiment analysis.