Do We Really Need Multimodal Emotion Language Models Larger Than 1B Parameters?

📄 arXiv: 2607.12787v1 📥 PDF

作者: Kaiwen Zheng, Junchen Fu, Wenhao Deng, Hu Han, Joemon M. Jose, Xuri Ge

分类: cs.AI, cs.CL, cs.CV, cs.MM

发布日期: 2026-07-14

备注: Accepted by ACM MM2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出Light-MER以解决大规模多模态情感识别模型的效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 知识蒸馏 轻量级模型 推理效率 优化策略

📋 核心要点

  1. 现有的多模态情感识别模型通常参数量巨大，导致计算成本高和推理效率低，限制了其在实际应用中的部署。
  2. 本文提出了Light-MER框架，通过知识蒸馏从大型教师模型向轻量级学生模型转移知识，以提高情感识别的效率和效果。
  3. 在九个基准数据集上的实验表明，Light-MER在性能上达到了最先进水平，同时推理效率显著提升，展示了小型多模态情感语言模型的潜力。

📝 摘要（中文）

近年来，多模态大型语言模型（MLLMs）的进展显著提升了多模态情感识别（MER）的性能，并实现了可解释的描述生成。然而，这些性能提升通常伴随着模型参数规模的增加（例如，至少7B），导致高计算成本和降低推理效率，从而阻碍了在资源受限平台（如机器人和移动设备）上的实时部署。本文挑战了大模型必然必要的假设，提出了一种轻量级的MER框架（称为Light-MER），通过知识蒸馏实现更快的多模态情感理解和识别。我们引入了两种新的优化策略以增强知识转移，并在九个基准数据集上进行了广泛实验，结果表明Light-MER在保持高性能的同时显著提高了推理效率。

🔬 方法详解

问题定义：本文旨在解决现有多模态情感识别模型在参数规模过大时导致的高计算成本和低推理效率的问题，特别是在资源受限的设备上。

核心思路：论文提出了Light-MER框架，通过知识蒸馏技术，将大型教师模型的知识转移到一个小于十亿参数的学生模型中，以保持情感推理的丰富性和识别能力，同时提高部署效率。

技术框架：Light-MER的整体架构包括教师模型和学生模型的知识转移过程，采用新的优化策略来增强知识蒸馏的效果。主要模块包括知识蒸馏、优化损失计算和多奖励优化策略。

关键创新：最重要的技术创新在于引入了新的最优传输损失，该损失结合了切片Wasserstein距离和隐藏状态对齐，以及基于GRPO的多奖励优化策略，这些创新显著提升了学生模型的学习能力。

关键设计：在损失函数设计上，采用了结合切片Wasserstein距离的最优传输损失，以确保知识有效转移；同时，设计了多奖励优化策略，以平衡MER性能与效率，进一步提升学生模型的表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Light-MER在九个基准数据集上达到了最先进的性能，推理效率显著提高，具体性能数据表明，相较于基线模型，推理速度提升了XX%，而在情感识别准确率上也有明显改善，展示了小型多模态情感语言模型的强大潜力。

🎯 应用场景

该研究的潜在应用领域包括机器人、移动设备和其他资源受限平台上的情感识别系统。通过提高多模态情感识别的效率，Light-MER能够在实时交互、情感分析和用户体验优化等方面发挥重要作用，推动相关技术的实际应用和发展。

📄 摘要（原文）

Recent advances in multimodal large language models (MLLMs) have significantly improved the performance of multimodal emotion recognition (MER) and enabled interpretable description generation by jointly modeling video, audio, and language, etc. However, these performance improvements are often accompanied by an increase in model parameter size (e.g, at least 7B), which simultaneously incurs high computational costs and reduces inference efficiency, thereby hindering real-time deployment on resource-constrained platforms such as robots and mobile devices. This raises a fundamental question: do we really need the multimodal MER model larger than 1B parameters for high-quality MER? In this paper, we challenge the assumption that larger models are inherently necessary and proposes a lightweight MER framework (called Light-MER), which achieves better and faster multimodal sentiment understanding and recognition through knowledge distillation. It can transfer knowledge from a strong, large-scale teacher model to a lightweight sub-billion-parameter student model, aiming to preserve rich multimodal emotion reasoning and recognition while substantially improving deployment efficiency. Specifically, we introduce two new optimization strategies to enhance knowledge transfer: (1) a new optimal transport loss that combines Sliced Wasserstein Distance with hidden-state alignment, and (2) a new multi-reward optimization strategy based on GRPO that balances MER performance and efficiency, aimed at further enhancing the learning capabilities of student models. Extensive experiments on nine benchmark datasets demonstrate that Light-MER achieves state-of-the-art performance while significantly improving inference efficiency. This highlights the strong potential of small multimodal emotion language models for future research. Code is available at https://github.com/GAIR-Lab/Light-MER.