CASE: Confusion-Aware Skill Evolution for Frozen Multimodal Emotion Models

📄 arXiv: 2610.32481v1 📥 PDF

作者: Siyu Wu, Zeyu Liang, Linghao Wang, Qiyun Zheng, Yi Yao, Ling Lo, Hongxia Xie

分类: cs.AI

发布日期: 2026-10-23

备注: 9 pages, 6 figures, 4 tables

💡 一句话要点

提出CASE框架以解决多模态情感识别中的情感混淆问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 情感混淆 技能演化 模型迁移 情感分析

📋 核心要点

  1. 现有多模态情感识别方法在处理语义相近情感时表现出系统性混淆，导致识别准确性下降。
  2. 本文提出CASE框架，通过维护稀疏的、可自我演化的情感技能库，针对特定情感对进行混淆修正。
  3. 在CA-MER基准上，CASE将Qwen3-VL-8B的平均准确率从46.80%提升至59.13%，在多种MLLM上均取得一致性提升。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在多模态情感识别（MER）中取得了显著进展，但仍存在对语义相近情感的系统性混淆。现有方法通常通过全局参数适应来解决这些错误，导致混淆修正成本高且不灵活。本文提出的Confusion-Aware Skill Evolution（CASE）框架，利用可重用的情感技能库，动态检索适当的情感技能以增强推理能力，同时保持MLLM骨干网络的冻结。实验结果表明，CASE在多个基准数据集上显著提升了情感识别的准确性。

🔬 方法详解

问题定义：本文旨在解决多模态情感识别中对语义相近情感的混淆问题。现有方法通过全局参数适应来修正混淆，导致成本高且灵活性不足。

核心思路：提出CASE框架，利用可重用的情感技能库，针对特定情感对进行混淆修正。通过这种方式，能够更有效地利用模型的情感知识，提升推理能力。

技术框架：CASE框架包括情感技能库的维护与动态检索模块。在推理过程中，系统根据输入动态选择合适的情感技能，以增强对情感边界的理解，同时保持MLLM骨干网络的冻结状态。

关键创新：CASE是首个针对多模态情感识别的代理技能框架，通过外部化情感知识，允许技能的持续优化与跨模型迁移，显著区别于传统的全局参数调整方法。

关键设计：在设计中，情感技能库采用稀疏结构，能够根据具体情感对进行自我演化。损失函数和网络结构经过精心设计，以确保技能的有效性和适应性。具体参数设置和网络架构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CASE在CA-MER基准上将Qwen3-VL-8B的平均准确率从46.80%提升至59.13%，并在DFEW和EMER数据集上也取得了显著的性能提升，验证了其有效性和迁移能力。

🎯 应用场景

该研究在多模态情感识别领域具有广泛的应用潜力，能够提升情感分析、情感计算和人机交互等领域的性能。未来，CASE框架可扩展至其他情感相关任务，推动情感智能的发展。

📄 摘要（原文）

Multimodal large language models (MLLMs) have substantially advanced Multimodal Emotion Recognition (MER) by enabling fine-grained emotion understanding through reasoning over multimodal evidence. However, they still exhibit systematic confusion between semantically adjacent emotions with highly overlapping multimodal cues. Existing approaches typically address these errors through global parameter adaptation, making confusion correction costly and inflexible. We instead observe that emotion confusion is highly localized and therefore better addressed through reusable pair-specific expertise. Building on this insight, we propose Confusion-Aware Skill Evolution (CASE), the first agent-skill framework for MER. CASE maintains a sparse, self-evolving library of pair-specific EmotionSkills that externalize affective expertise from model parameters, enabling the learned expertise to be continuously refined and readily transferred across diverse frozen MLLM backbones. During inference, CASE dynamically retrieves the appropriate EmotionSkill to reinforce boundary-aware reasoning while keeping the MLLM backbone frozen. Extensive experiments on CA-MER, DFEW, and EMER demonstrate the effectiveness and transferability of CASE across both general-purpose and emotion-specialized MLLMs. Notably, CASE improves the average accuracy of Qwen3-VL-8B on the CA-MER benchmark from 46.80% to 59.13%, while achieving consistent gains across MLLMs.