Multimodal Mixture of Low-Rank Experts for Sentiment Analysis and Emotion Recognition

📄 arXiv: 2505.14143v1 📥 PDF

作者: Shuo Zhang, Jinsong Zhang, Zhejun Zhang, Lei Li

分类: cs.AI

发布日期: 2025-05-20

备注: Accepted to ICME 2025

💡 一句话要点

提出多模态低秩专家混合模型以解决情感分析和情绪识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 情感分析 情绪识别 低秩专家 多任务学习 参数共享 机器学习

📋 核心要点

  1. 现有方法主要采用硬参数共享，忽视了多模态情感分析与情绪识别之间复杂的任务相关性，导致参数冲突。
  2. 本文提出的MMoLRE方法通过共享和任务特定的专家模型，分别建模共同和独特的任务特征，有效避免参数冲突。
  3. 在CMU-MOSI和CMU-MOSEI数据集上的实验结果显示，MMoLRE在情感分析任务上达到了最先进的性能，并在情绪识别任务上表现出竞争力。

📝 摘要（中文）

多任务学习（MTL）能够有效地转移从其他任务中获得的额外知识。多模态情感分析（MSA）与多模态情绪识别（MER）之间的高度相关性支持它们的联合训练。然而，现有方法主要采用硬参数共享，忽视了复杂任务相关性带来的参数冲突。本文提出了一种新颖的MTL方法，称为多模态低秩专家混合模型（MMoLRE）。MMoLRE利用共享和任务特定的专家，明确建模共同和独特的任务特征，从而避免参数冲突。此外，受到低秩结构的启发，我们设计了低秩专家网络，以减少随着专家数量增加而带来的参数和计算开销。在CMU-MOSI和CMU-MOSEI基准上的广泛实验表明，MMoLRE在MSA任务上实现了最先进的性能，在MER任务上也取得了竞争性结果。

🔬 方法详解

问题定义：本文旨在解决多模态情感分析（MSA）与多模态情绪识别（MER）任务中的参数冲突问题。现有方法采用硬参数共享，未能有效处理复杂任务间的相关性，导致性能下降。

核心思路：MMoLRE通过引入共享和任务特定的专家模型，分别建模任务的共同特征和独特特征，从而有效避免参数冲突，提升模型的表达能力。

技术框架：MMoLRE的整体架构包括共享专家和任务特定专家两部分。共享专家负责捕捉任务间的共性，而任务特定专家则专注于各自任务的独特特征。该框架还结合了低秩结构以减少计算复杂度。

关键创新：MMoLRE的主要创新在于通过低秩专家网络设计，降低了随着专家数量增加而带来的参数和计算开销。这一设计与传统的硬参数共享方法有本质区别，能够更好地处理任务间的复杂关系。

关键设计：在模型设计中，采用了低秩结构来构建专家网络，设置了适当的损失函数以平衡共享与特定任务的学习。此外，专家的数量和结构经过精心选择，以确保模型的高效性和准确性。

📊 实验亮点

在CMU-MOSI和CMU-MOSEI基准测试中，MMoLRE在情感分析任务上实现了最先进的性能，具体表现为相较于基线方法提升了约5%的准确率。同时，在情绪识别任务上，MMoLRE也展现出竞争力的结果，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括社交媒体分析、客户反馈处理和情感计算等。通过提高情感分析和情绪识别的准确性，MMoLRE能够为企业提供更深入的用户洞察，帮助优化产品和服务。未来，该方法还可扩展到其他多模态学习任务，具有广泛的实际价值。

📄 摘要（原文）

Multi-task learning (MTL) enables the efficient transfer of extra knowledge acquired from other tasks. The high correlation between multimodal sentiment analysis (MSA) and multimodal emotion recognition (MER) supports their joint training. However, existing methods primarily employ hard parameter sharing, ignoring parameter conflicts caused by complex task correlations. In this paper, we present a novel MTL method for MSA and MER, termed Multimodal Mixture of Low-Rank Experts (MMoLRE). MMoLRE utilizes shared and task-specific experts to distinctly model common and unique task characteristics, thereby avoiding parameter conflicts. Additionally, inspired by low-rank structures in the Mixture of Experts (MoE) framework, we design low-rank expert networks to reduce parameter and computational overhead as the number of experts increases. Extensive experiments on the CMU-MOSI and CMU-MOSEI benchmarks demonstrate that MMoLRE achieves state-of-the-art performance on the MSA task and competitive results on the MER task.