Opening the Black Box: Preliminary Insights into Affective Modeling in Multimodal Foundation Models
作者: Zhen Zhang, Runhao Zeng, Sicheng Zhao, Xiping Hu
分类: cs.CV
发布日期: 2026-01-22
💡 一句话要点
提出系统性研究以揭示多模态基础模型中的情感建模机制
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感建模 多模态学习 基础模型 前馈门控 参数效率 情感理解 模型适应
📋 核心要点
- 现有的多模态情感模型在内部机制上仍然缺乏深入理解，尤其是情感如何被表示和生成。
- 本文提出了一种系统性的方法，通过分析情感导向监督对模型参数的影响，揭示了情感建模的关键机制。
- 实验结果表明，仅调整约24.5%的参数即可实现96.6%的性能，显示出显著的参数效率。
📝 摘要（中文）
理解情感在大规模基础模型中的表示方式仍然是一个未解的问题，尤其是在多模态情感设置中。尽管近期情感模型的实证表现强劲，但支撑情感理解和生成的内部架构机制仍不清楚。本文系统性研究了多模态基础模型中的情感建模，分析了情感导向的监督如何重塑内部模型参数。结果显示，情感适应主要集中在前馈门控投影（gate_proj）上，而非注意力模块。通过模块转移、单模块适应和破坏性消融实验，证明了gate_proj在情感理解和生成中的必要性和有效性。我们的研究为基础模型中的情感能力提供了实证证据，并确定了gate_proj作为情感建模的核心架构。
🔬 方法详解
问题定义：本文旨在解决多模态基础模型中情感建模的内部机制不明的问题。现有方法在情感理解和生成的架构设计上存在不足，未能明确情感表示的关键模块。
核心思路：通过系统性分析情感导向监督对模型内部参数的影响，论文提出前馈门控投影（gate_proj）作为情感建模的核心机制，强调其在情感适应中的重要性。
技术框架：研究涉及多个架构和训练策略，重点分析情感任务中的模型参数变化。通过控制模块转移、单模块适应和消融实验，验证gate_proj的有效性和必要性。
关键创新：最重要的技术创新在于识别出gate_proj作为情感理解和生成的核心模块，与传统方法侧重于注意力机制的设计形成鲜明对比。
关键设计：在实验中，仅调整约24.5%的参数即可达到高达96.6%的性能，表明该方法在参数效率上具有显著优势。
🖼️ 关键图片
📊 实验亮点
实验结果显示，通过调整约24.5%的参数，模型在八个情感任务上达到了96.6%的平均性能，展现出显著的参数效率，相较于基线方法有明显提升。
🎯 应用场景
该研究的潜在应用领域包括情感计算、智能助手、社交机器人等，能够提升机器对人类情感的理解和响应能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Understanding where and how emotions are represented in large-scale foundation models remains an open problem, particularly in multimodal affective settings. Despite the strong empirical performance of recent affective models, the internal architectural mechanisms that support affective understanding and generation are still poorly understood. In this work, we present a systematic mechanistic study of affective modeling in multimodal foundation models. Across multiple architectures, training strategies, and affective tasks, we analyze how emotion-oriented supervision reshapes internal model parameters. Our results consistently reveal a clear and robust pattern: affective adaptation does not primarily focus on the attention module, but instead localizes to the feed-forward gating projection (\texttt{gate_proj}). Through controlled module transfer, targeted single-module adaptation, and destructive ablation, we further demonstrate that \texttt{gate_proj} is sufficient, efficient, and necessary for affective understanding and generation. Notably, by tuning only approximately 24.5\% of the parameters tuned by AffectGPT, our approach achieves 96.6\% of its average performance across eight affective tasks, highlighting substantial parameter efficiency. Together, these findings provide empirical evidence that affective capabilities in foundation models are structurally mediated by feed-forward gating mechanisms and identify \texttt{gate_proj} as a central architectural locus of affective modeling.