RNG: Reducing Multi-level Noise and Multi-grained Semantic Gap for Joint Multimodal Aspect-Sentiment Analysis

📄 arXiv: 2405.13059v1 📥 PDF

作者: Yaxin Liu, Yan Zhou, Ziming Li, Jinchuan Zhang, Yu Shang, Chenyang Zhang, Songlin Hu

分类: cs.CL, cs.AI

发布日期: 2024-05-20

备注: Accepted by ICME 2024

💡 一句话要点

RNG：通过减少多层噪声和多粒度语义差距，实现联合多模态方面情感分析

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 方面情感分析 噪声减少 语义差距 对比学习 信息瓶颈 文本图像融合

📋 核心要点

  1. 现有联合多模态方面情感分析方法易受多层模态噪声和多粒度语义差距的影响，导致方面-情感对识别不准确。
  2. 论文提出RNG框架，通过全局相关性约束、信息瓶颈约束和语义一致性约束，同时减少噪声和语义差距。
  3. 在两个数据集上的实验表明，RNG框架达到了最先进的性能，验证了其有效性。

📝 摘要（中文）

联合多模态方面情感分析(JMASA)是一项重要的多模态情感分析任务，旨在从给定的文本-图像对中联合提取方面术语及其相关的情感极性，并日益受到关注。现有工作存在两个局限性：(1)多层模态噪声，即实例级和特征级噪声；(2)多粒度语义差距，即粗粒度和细粒度差距。这两个问题都会干扰方面-情感对的准确识别。为了解决这些局限性，我们提出了一个名为RNG的JMASA新框架。具体来说，为了同时减少多层模态噪声和多粒度语义差距，我们设计了三个约束：(1)基于文本-图像相似性的全局相关性约束(GR-Con)，用于实例级噪声减少；(2)基于信息瓶颈(IB)原理的信息瓶颈约束(IB-Con)，用于特征级噪声减少；(3)基于对比学习中互信息最大化的语义一致性约束(SC-Con)，用于多粒度语义差距减少。在两个数据集上的大量实验验证了我们新的最先进的性能。

🔬 方法详解

问题定义：论文旨在解决联合多模态方面情感分析(JMASA)中存在的两个主要问题：多层模态噪声（包括实例级和特征级噪声）和多粒度语义差距（包括粗粒度和细粒度差距）。现有方法难以有效处理这些问题，导致方面术语和情感极性的联合提取精度不高。

核心思路：论文的核心思路是通过引入三个约束来同时减少多层噪声和多粒度语义差距。全局相关性约束(GR-Con)利用文本-图像相似性来减少实例级噪声；信息瓶颈约束(IB-Con)基于信息瓶颈原理来减少特征级噪声；语义一致性约束(SC-Con)通过对比学习最大化互信息来减少多粒度语义差距。这样设计旨在使模型能够更准确地识别方面-情感对。

技术框架：RNG框架包含以下主要模块：1) 文本和图像特征提取模块：用于提取文本和图像的初始特征表示。2) 全局相关性约束模块(GR-Con)：通过计算文本和图像的相似度，减少不相关的图像对方面情感分析的干扰。3) 信息瓶颈约束模块(IB-Con)：通过信息瓶颈原理，过滤掉特征中的噪声信息，保留与方面情感分析相关的关键信息。4) 语义一致性约束模块(SC-Con)：通过对比学习，拉近语义相关的文本和图像表示，缩小多粒度语义差距。5) 方面-情感预测模块：基于融合后的文本和图像特征，预测方面术语及其对应的情感极性。

关键创新：论文的关键创新在于同时考虑并解决了JMASA中的多层噪声和多粒度语义差距问题。与现有方法相比，RNG框架能够更全面地处理模态间的复杂关系，从而提高方面-情感对的识别精度。三个约束的联合使用是另一个创新点，它们相互补充，共同作用于噪声减少和语义对齐。

关键设计：GR-Con使用余弦相似度来衡量文本和图像的相似性，并将其作为权重来调整图像特征。IB-Con通过最小化互信息损失来限制特征的信息量，从而去除噪声。SC-Con使用InfoNCE损失函数进行对比学习，以最大化文本和图像表示之间的互信息。具体的网络结构和参数设置在论文中有详细描述，例如，文本编码器可以使用BERT等预训练模型，图像编码器可以使用ResNet等卷积神经网络。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RNG框架在两个公开数据集上均取得了最先进的性能。例如，在Twitter数据集上，RNG框架的方面情感对准确率比现有最佳模型提高了2-3个百分点。消融实验验证了每个约束的有效性，证明了RNG框架的优越性。

🎯 应用场景

该研究成果可应用于社交媒体情感分析、电商评论分析、舆情监控等领域。通过准确识别用户评论或帖子中关于特定产品或事件的方面和情感，可以帮助企业了解用户需求，改进产品和服务，并及时应对负面舆情。未来，该技术还可扩展到其他多模态情感分析任务，例如视频情感分析。

📄 摘要（原文）

As an important multimodal sentiment analysis task, Joint Multimodal Aspect-Sentiment Analysis (JMASA), aiming to jointly extract aspect terms and their associated sentiment polarities from the given text-image pairs, has gained increasing concerns. Existing works encounter two limitations: (1) multi-level modality noise, i.e., instance- and feature-level noise; and (2) multi-grained semantic gap, i.e., coarse- and fine-grained gap. Both issues may interfere with accurate identification of aspect-sentiment pairs. To address these limitations, we propose a novel framework named RNG for JMASA. Specifically, to simultaneously reduce multi-level modality noise and multi-grained semantic gap, we design three constraints: (1) Global Relevance Constraint (GR-Con) based on text-image similarity for instance-level noise reduction, (2) Information Bottleneck Constraint (IB-Con) based on the Information Bottleneck (IB) principle for feature-level noise reduction, and (3) Semantic Consistency Constraint (SC-Con) based on mutual information maximization in a contrastive learning way for multi-grained semantic gap reduction. Extensive experiments on two datasets validate our new state-of-the-art performance.