Affect-Prototype Guided Fusion for Open-Vocabulary Incomplete Multi-modal Emotion Recognition

📄 arXiv: 2609.16962v1 📥 PDF

作者: Yichi Zhang, Shenyue Wang, Jing Luo, Chunyang Yu, Xinyu Yang

分类: cs.AI

发布日期: 2026-09-15

💡 一句话要点

提出情感原型引导融合方法以解决开放词汇不完整多模态情感识别问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 开放词汇情感识别 多模态融合 情感原型 特征聚合 条件检索

📋 核心要点

  1. 现有的OV-MER方法主要针对全模态输入，无法有效处理模态缺失问题，导致情感识别性能下降。
  2. 本文提出的APCF框架通过构建情感原型库，动态引导模态特征的融合，解决了不完整模态下的情感识别问题。
  3. 在OV-MERD+和MER-FG数据集上的实验结果显示，APCF显著提高了情感识别的准确性，超越了现有的最先进方法。

📝 摘要（中文）

开放词汇多模态情感识别（OV-MER）旨在从多模态情感线索中生成开放的自然语言情感标签。然而，由于采集设备的限制和用户隐私的约束，完整且同步的模态数据在实际场景中难以获得。现有的OV-MER方法主要针对全模态输入设计，在模态缺失条件下无法有效进行特征融合。同时，针对不完整模态的现有融合方法主要集中在固定标签识别上下文，无法满足在OV-MER背景下融合任意情感语义的需求。为了解决这些挑战，本文提出了一种情感原型条件融合（APCF）框架，用于不完整的开放词汇情感识别。作为一种无候选生成框架，APCF将模态贡献学习扩展到由任意情感语义引导的场景。具体而言，我们构建了一个情感原型库，以明确建模对应于多样情感的多模态贡献特征，为不同情感语义视角下的模态融合提供动态约束。基于可用模态特征进行条件检索和特征聚合，精炼后的情感表示被输入到LLM解码器中生成开放词汇情感标签。实验结果表明，APCF在OV-MERD+和MER-FG数据集上显著优于现有最先进的基线。

🔬 方法详解

问题定义：本文旨在解决开放词汇多模态情感识别中的模态缺失问题。现有方法在面对不完整模态输入时，无法有效进行特征融合，导致情感识别性能下降。

核心思路：论文提出的APCF框架通过构建情感原型库，动态引导模态特征的融合，能够在缺失模态的情况下生成准确的情感标签。这样的设计使得模型能够适应不同情感语义的需求。

技术框架：APCF框架主要包括情感原型库构建、条件检索、特征聚合和LLM解码器四个模块。首先，通过情感原型库明确建模多模态贡献特征；然后，基于可用模态特征进行条件检索和特征聚合，最后将精炼后的情感表示输入到解码器中生成开放词汇情感标签。

关键创新：APCF的核心创新在于情感原型库的构建，使得模态融合能够在不同情感语义下进行动态调整。这一方法与传统的固定标签识别方法有本质区别，能够处理任意情感语义的需求。

关键设计：在模型设计中，关键参数包括情感原型的数量和模态特征的选择，损失函数采用了针对多模态融合的自适应损失设计，以提高模型的鲁棒性和准确性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在OV-MERD+和MER-FG数据集上的实验结果表明，APCF框架在情感识别任务中显著优于现有的最先进基线，具体提升幅度达到XX%，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括情感分析、社交媒体监测和人机交互等。通过提升多模态情感识别的准确性，APCF框架能够为情感驱动的应用提供更为精准的情感标签，从而增强用户体验和系统响应能力。

📄 摘要（原文）

Open-vocabulary multimodal emotion recognition (OV-MER) aims to generate open natural-language emotion labels from multimodal affective cues. In real-world scenarios, however, complete and synchronized modal data are difficult to obtain due to limitations of acquisition devices and user privacy constraints. Existing OV-MER methods are largely designed for full-modal inputs, and fail to perform effective feature fusion under modal missing conditions. Meanwhile, current fusion approaches designed for incomplete modalities mainly focus on fixed-label recognition context, and cannot satisfy the demand for fuse emotional cues guided with arbitrary emotion semantics in OV-MER context. To tackle these challenges, this paper proposes an Affect-Prototype-Conditioned Fusion (APCF) framework for incomplete open-vocabulary emotion recognition. As a candidate-free generative framework, APCF extends modal contribution learning to scenarios guided by arbitrary emotional semantics. Specifically, we construct an affect-prototype library to explicitly model multimodal contribution characteristics corresponding to diverse emotions, which provides dynamic constraints for modal fusion under different emotional semantic perspectives. Conditional retrieval and feature aggregation are conducted based on available modal features. The refined fused affective representations are then fed into an LLM decoder to produce open-vocabulary emotion labels. Experiments on the OV-MERD+ and MER-FG datasets demonstrate that APCF substantially outperforms state-of-the-art baselines.