Enhancing Sentiment Analysis through Multimodal Fusion: A BERT-DINOv2 Approach

📄 arXiv: 2503.07943v1 📥 PDF

作者: Taoxu Zhao, Meisi Li, Kehao Chen, Liye Wang, Xucheng Zhou, Kunal Chaturvedi, Mukesh Prasad, Ali Anaissi, Ali Braytee

分类: cs.CV, cs.CL

发布日期: 2025-03-11

备注: 12 pages

💡 一句话要点

提出基于BERT和DINOv2的多模态情感分析框架，融合文本和图像信息以提升情感理解。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 BERT DINOv2 特征融合 自注意力机制

📋 核心要点

  1. 传统情感分析主要依赖文本信息，忽略了图像等其他模态数据，导致情感理解的局限性。
  2. 论文提出结合BERT和DINOv2，分别提取文本和图像特征，并通过多种融合策略提升情感分析效果。
  3. 实验结果表明，该多模态架构在多个数据集上表现出良好的性能，验证了其可行性和有效性。

📝 摘要（中文）

本文提出了一种新颖的多模态情感分析架构，该架构集成了文本和图像数据，以提供对情感更全面的理解，从而增强了传统的情感分析。传统的情感分析通常仅依赖于文本。对于文本特征提取，我们利用了自然语言处理模型BERT。对于图像特征提取，我们采用了基于视觉Transformer的模型DINOv2。文本和视觉潜在特征通过提出的融合技术进行整合，包括基础融合模型、自注意力融合模型和双重注意力融合模型。在Memotion 7k数据集、MVSA single数据集和MVSA multi数据集上的实验证明了所提出的多模态架构的可行性和实用性。

🔬 方法详解

问题定义：传统情感分析方法主要依赖于文本信息，忽略了图像等其他模态数据，导致在复杂场景下情感理解的准确性不足。现有的多模态情感分析方法可能存在特征融合不充分、模型复杂度高等问题，难以有效利用不同模态的信息。

核心思路：论文的核心思路是利用预训练的BERT模型提取文本特征，利用预训练的DINOv2模型提取图像特征，然后通过不同的融合策略将这两种模态的特征进行有效融合，从而提升情感分析的准确性。这种设计旨在充分利用预训练模型强大的特征提取能力，并探索不同的融合方式以适应不同的数据集和场景。

技术框架：整体架构包含三个主要模块：1) 文本特征提取模块：使用BERT模型将文本转换为高维向量表示。2) 图像特征提取模块：使用DINOv2模型将图像转换为高维向量表示。3) 特征融合与情感分类模块：将文本和图像特征进行融合，然后输入到分类器中进行情感分类。论文提出了三种融合策略：基础融合模型（直接拼接）、自注意力融合模型（使用自注意力机制学习不同模态的权重）和双重注意力融合模型（在自注意力的基础上，增加一个模态间的注意力机制）。

关键创新：论文的关键创新在于：1) 采用了DINOv2模型进行图像特征提取，DINOv2在视觉表征学习方面表现出色，能够提取更具判别性的图像特征。2) 提出了三种不同的融合策略，包括自注意力融合和双重注意力融合，能够更有效地融合文本和图像特征。与现有方法相比，该方法能够更好地利用多模态信息，提升情感分析的准确性。

关键设计：在文本特征提取方面，使用了预训练的BERT模型，并根据具体任务进行了微调。在图像特征提取方面，使用了预训练的DINOv2模型，并提取了其最后一层的特征向量。在融合策略方面，自注意力融合模型使用了多头注意力机制，双重注意力融合模型在自注意力的基础上增加了一个模态间的注意力机制。损失函数使用了交叉熵损失函数，优化器使用了AdamW优化器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的多模态情感分析框架在Memotion 7k、MVSA single和MVSA multi三个数据集上均取得了良好的性能。例如，在Memotion 7k数据集上，双重注意力融合模型相比于基础融合模型，情感分类准确率提升了约2-3%。与现有的一些基线方法相比，该方法也表现出一定的优势，验证了其有效性。

🎯 应用场景

该研究成果可应用于社交媒体情感监控、舆情分析、智能客服、电影评论分析等领域。通过结合文本和图像信息，能够更准确地理解用户的情感倾向，从而为企业提供更有价值的决策支持，并提升用户体验。未来，该方法还可以扩展到其他多模态情感分析任务中，例如结合语音、视频等信息进行情感分析。

📄 摘要（原文）

Multimodal sentiment analysis enhances conventional sentiment analysis, which traditionally relies solely on text, by incorporating information from different modalities such as images, text, and audio. This paper proposes a novel multimodal sentiment analysis architecture that integrates text and image data to provide a more comprehensive understanding of sentiments. For text feature extraction, we utilize BERT, a natural language processing model. For image feature extraction, we employ DINOv2, a vision-transformer-based model. The textual and visual latent features are integrated using proposed fusion techniques, namely the Basic Fusion Model, Self Attention Fusion Model, and Dual Attention Fusion Model. Experiments on three datasets, Memotion 7k dataset, MVSA single dataset, and MVSA multi dataset, demonstrate the viability and practicality of the proposed multimodal architecture.