New Benchmark Dataset and Fine-Grained Cross-Modal Fusion Framework for Vietnamese Multimodal Aspect-Category Sentiment Analysis

📄 arXiv: 2405.00543v1 📥 PDF

作者: Quy Hoang Nguyen, Minh-Van Truong Nguyen, Kiet Van Nguyen

分类: cs.CL, cs.AI

发布日期: 2024-05-01

期刊: Multimedia Systems 31, 4 (2025)

DOI: 10.1007/s00530-024-01558-8

🔗 代码/项目: GITHUB

💡 一句话要点

提出ViMACSA数据集与FCMF框架，用于细粒度越南语多模态情感分析。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 跨模态融合 细粒度特征 越南语 方面类别情感分析

📋 核心要点

  1. 现有ACSA多模态数据集侧重文本标注，忽略图像细粒度信息，无法充分利用多模态数据的丰富性。
  2. 提出FCMF框架，学习模态内和模态间的细粒度交互，融合信息以生成统一的多模态表示。
  3. 实验结果表明，FCMF框架在ViMACSA数据集上优于SOTA模型，F1分数达到79.73%。

📝 摘要（中文）

社交媒体平台上多模态数据的出现为更好地理解用户对特定方面的情感提供了新的机会。然而，现有的面向方面类别情感分析(ACSA)的多模态数据集通常侧重于文本标注，忽略了图像中的细粒度信息。因此，这些数据集未能充分利用多模态数据中固有的丰富性。为了解决这个问题，我们引入了一个新的越南语多模态数据集，名为ViMACSA，它由4,876个文本-图像对组成，包含酒店领域中针对文本和图像的14,618个细粒度标注。此外，我们提出了一个细粒度跨模态融合框架(FCMF)，该框架有效地学习模态内和模态间的交互，然后融合这些信息以产生统一的多模态表示。实验结果表明，我们的框架在ViMACSA数据集上优于SOTA模型，实现了79.73%的最高F1分数。我们还探讨了越南语多模态情感分析的特征和挑战，包括拼写错误、缩写和越南语的复杂性。这项工作贡献了一个基准数据集和一个利用细粒度多模态信息来改进多模态方面类别情感分析的新框架。我们的数据集可用于研究目的：https://github.com/hoangquy18/Multimodal-Aspect-Category-Sentiment-Analysis。

🔬 方法详解

问题定义：论文旨在解决越南语多模态方面类别情感分析（ACSA）任务中，现有数据集和方法无法充分利用图像细粒度信息的问题。现有方法主要依赖文本信息，忽略了图像中蕴含的丰富情感信息，导致情感分析结果不够准确。此外，越南语本身的复杂性（如拼写错误、缩写等）也增加了情感分析的难度。

核心思路：论文的核心思路是设计一个能够有效融合文本和图像细粒度信息的跨模态融合框架。该框架通过学习模态内和模态间的交互，提取文本和图像中的关键情感特征，并将这些特征融合起来，从而更准确地判断用户对特定方面的情感倾向。核心在于细粒度的特征提取和跨模态的有效融合。

技术框架：FCMF框架主要包含以下几个模块：1) 文本特征提取模块：使用预训练的语言模型（如BERT）提取文本特征。2) 图像特征提取模块：使用卷积神经网络（CNN）提取图像特征。3) 模态内交互学习模块：学习文本和图像各自内部的特征交互，例如使用自注意力机制。4) 跨模态融合模块：将文本和图像的特征进行融合，例如使用注意力机制或门控机制。5) 情感分类模块：根据融合后的特征，预测用户对特定方面的情感倾向。

关键创新：论文的关键创新在于提出了细粒度的跨模态融合框架（FCMF），该框架能够有效地学习模态内和模态间的交互，从而更好地融合文本和图像信息。与现有方法相比，FCMF框架更加注重细粒度特征的提取和融合，能够更准确地捕捉用户的情感倾向。此外，该论文还构建了一个新的越南语多模态数据集（ViMACSA），为越南语多模态情感分析的研究提供了新的基准。

关键设计：在模态内交互学习模块中，使用了自注意力机制来学习文本和图像各自内部的特征交互。在跨模态融合模块中，使用了注意力机制来动态地调整文本和图像特征的权重，从而更好地融合两种模态的信息。损失函数方面，使用了交叉熵损失函数来训练情感分类模型。具体的网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的FCMF框架在ViMACSA数据集上取得了显著的性能提升，F1分数达到了79.73%，超过了现有的SOTA模型。这表明FCMF框架能够有效地融合文本和图像信息，更准确地捕捉用户的情感倾向。此外，该论文还对越南语多模态情感分析的特征和挑战进行了深入的分析，为未来的研究提供了有价值的参考。

🎯 应用场景

该研究成果可应用于酒店评论情感分析、产品评论情感分析、社交媒体舆情监控等领域。通过分析用户发布的文本和图像信息，可以更准确地了解用户对特定产品或服务的评价，为企业提供决策支持。此外，该研究还可以用于构建智能客服系统，自动识别用户的情感倾向，并提供个性化的服务。

📄 摘要（原文）

The emergence of multimodal data on social media platforms presents new opportunities to better understand user sentiments toward a given aspect. However, existing multimodal datasets for Aspect-Category Sentiment Analysis (ACSA) often focus on textual annotations, neglecting fine-grained information in images. Consequently, these datasets fail to fully exploit the richness inherent in multimodal. To address this, we introduce a new Vietnamese multimodal dataset, named ViMACSA, which consists of 4,876 text-image pairs with 14,618 fine-grained annotations for both text and image in the hotel domain. Additionally, we propose a Fine-Grained Cross-Modal Fusion Framework (FCMF) that effectively learns both intra- and inter-modality interactions and then fuses these information to produce a unified multimodal representation. Experimental results show that our framework outperforms SOTA models on the ViMACSA dataset, achieving the highest F1 score of 79.73%. We also explore characteristics and challenges in Vietnamese multimodal sentiment analysis, including misspellings, abbreviations, and the complexities of the Vietnamese language. This work contributes both a benchmark dataset and a new framework that leverages fine-grained multimodal information to improve multimodal aspect-category sentiment analysis. Our dataset is available for research purposes: https://github.com/hoangquy18/Multimodal-Aspect-Category-Sentiment-Analysis.