Multimodal Mixture of Low-Rank Experts for Sentiment Analysis and Emotion Recognition

📄 arXiv: 2505.14143v1 📥 PDF

作者: Shuo Zhang, Jinsong Zhang, Zhejun Zhang, Lei Li

分类: cs.AI

发布日期: 2025-05-20

备注: Accepted to ICME 2025

💡 一句话要点

提出多模态低秩专家混合模型MMoLRE，用于情感分析和情绪识别的多任务学习。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 多模态情绪识别 多任务学习 专家混合模型 低秩模型

📋 核心要点

  1. 现有多任务学习方法在多模态情感分析和情绪识别中主要采用硬参数共享，忽略了复杂任务相关性导致的参数冲突。
  2. MMoLRE利用共享和特定任务的低秩专家网络，显式建模任务间的共性和差异，从而避免参数冲突并降低计算开销。
  3. 在CMU-MOSI和CMU-MOSEI数据集上的实验表明，MMoLRE在MSA任务上达到了SOTA，并在MER任务上取得了具有竞争力的结果。

📝 摘要（中文）

本文提出了一种用于多模态情感分析(MSA)和多模态情绪识别(MER)的新型多任务学习(MTL)方法，称为多模态低秩专家混合模型(MMoLRE)。MMoLRE利用共享和特定任务的专家来区分建模通用和独特的任务特征，从而避免参数冲突。此外，受到专家混合(MoE)框架中低秩结构的启发，我们设计了低秩专家网络，以减少专家数量增加带来的参数和计算开销。在CMU-MOSI和CMU-MOSEI基准上的大量实验表明，MMoLRE在MSA任务上取得了最先进的性能，并在MER任务上取得了有竞争力的结果。

🔬 方法详解

问题定义：论文旨在解决多模态情感分析(MSA)和多模态情绪识别(MER)的多任务学习问题。现有方法，特别是基于硬参数共享的方法，无法有效处理MSA和MER之间复杂的任务相关性，导致参数冲突，影响模型性能。

核心思路：论文的核心思路是利用专家混合(MoE)的思想，设计共享专家和特定任务专家来分别建模任务间的共性和差异性。通过这种方式，可以避免硬参数共享带来的参数冲突，并更好地利用多任务学习的优势。此外，为了降低专家数量增加带来的计算开销，论文引入了低秩结构。

技术框架：MMoLRE的整体框架包含以下几个主要模块：1) 多模态特征提取模块（论文中未明确说明具体方法，默认为现有方法）；2) 共享专家网络，用于学习MSA和MER的通用特征；3) 特定任务专家网络，分别用于学习MSA和MER的独特特征；4) 门控网络，用于动态地组合不同专家的输出；5) 预测模块，根据组合后的专家输出进行情感或情绪预测。

关键创新：论文的关键创新在于：1) 提出了多模态低秩专家混合模型(MMoLRE)，将专家混合的思想应用于多模态情感分析和情绪识别的多任务学习中；2) 设计了低秩专家网络，有效降低了专家数量增加带来的参数和计算开销；3) 通过共享专家和特定任务专家的设计，更好地建模了任务间的共性和差异性。

关键设计：论文的关键设计包括：1) 低秩专家网络的具体结构（未知，论文中未详细描述）；2) 门控网络的具体实现方式（未知，论文中未详细描述）；3) 损失函数的设计，可能包括MSA和MER任务的损失以及正则化项（未知，论文中未详细描述）；4) 专家数量的选择（未知，论文中未详细描述）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MMoLRE在CMU-MOSI数据集上取得了state-of-the-art的MSA性能，并在CMU-MOSEI数据集上取得了具有竞争力的MER性能。具体提升幅度未知，因为摘要中没有给出具体的数值结果。该结果表明，MMoLRE能够有效利用多任务学习的优势，并避免参数冲突，从而提升模型性能。

🎯 应用场景

该研究成果可应用于智能客服、舆情监控、人机交互等领域。通过更准确地理解用户的情感和情绪，可以提升用户体验，改善沟通效果，并为决策提供更可靠的依据。未来，该方法可以扩展到其他多模态任务，例如视频理解、语音识别等。

📄 摘要（原文）

Multi-task learning (MTL) enables the efficient transfer of extra knowledge acquired from other tasks. The high correlation between multimodal sentiment analysis (MSA) and multimodal emotion recognition (MER) supports their joint training. However, existing methods primarily employ hard parameter sharing, ignoring parameter conflicts caused by complex task correlations. In this paper, we present a novel MTL method for MSA and MER, termed Multimodal Mixture of Low-Rank Experts (MMoLRE). MMoLRE utilizes shared and task-specific experts to distinctly model common and unique task characteristics, thereby avoiding parameter conflicts. Additionally, inspired by low-rank structures in the Mixture of Experts (MoE) framework, we design low-rank expert networks to reduce parameter and computational overhead as the number of experts increases. Extensive experiments on the CMU-MOSI and CMU-MOSEI benchmarks demonstrate that MMoLRE achieves state-of-the-art performance on the MSA task and competitive results on the MER task.