Do Emotion Concepts Generalize Across Sources, Modalities, and Architectures in Vision-Language Models?
作者: Bohao Xing, Xin Liu, Kaishen Yuan, Deng Li, Rong Gao, Guoying Zhao, Xiaolan Fu, Heikki Kälviäinen
分类: cs.CV, cs.LG
发布日期: 2026-09-28
💡 一句话要点
提出CMES以解决情感概念在多模态模型中的泛化问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情感计算 多模态融合 视觉-语言模型 情感识别 跨架构学习
📋 核心要点
- 现有研究主要集中于文本和单一架构，缺乏对情感概念在多模态模型中的泛化能力的探讨。
- 本文提出CMES数据集，通过多源情感刺激来研究情感概念的跨模态和跨架构泛化能力。
- 实验结果显示，情感向量在不同源之间具有相似的几何结构，并且跨架构的对应关系依然存在。
📝 摘要（中文）
近期研究表明，大型语言模型能够将情感概念编码为结构化的内部表征，但现有工作主要集中于文本及单一架构。因此，本文探讨情感概念在视觉-语言模型（VLMs）中的跨源、跨模态和跨架构的泛化能力。为此，我们构建了CMES（跨模态情感刺激），这是一个多源情感条件故事、真实面部表情、合成肖像和合成情感激发场景的集合。我们从三种VLM中提取了六个Ekman情感向量，并报告了四个主要发现，表明情感表征能够在不同源、模态和架构之间共享关系结构和因果效应。
🔬 方法详解
问题定义：本文旨在解决情感概念在视觉-语言模型中的泛化问题，现有方法主要集中于文本，缺乏对多模态和多架构的研究。
核心思路：通过构建CMES数据集，整合多种情感刺激源，提取情感向量，探讨其在不同模型间的对应关系和因果转移。
技术框架：整体架构包括数据集构建、情感向量提取和跨模态、跨架构的对应分析，主要模块包括情感刺激源、向量提取和几何结构分析。
关键创新：提出了情感向量的跨源和跨架构的共享机制，展示了即使在个别向量方向不同的情况下，情感表征仍能保持关系结构和因果效应。
关键设计：在情感向量提取中，使用了六个Ekman情感向量，并通过对比不同模型的激活来估计变换，确保了情感几何结构的保留。
🖼️ 关键图片
📊 实验亮点
实验结果表明，图像衍生的情感向量与文本衍生的向量在低维几何结构上相似，且在不同架构间的对应关系依然存在。经过对齐后，构建的共享情感子空间能够在未见的第四架构上进行有效泛化，显示出情感表征的强大跨模态能力。
🎯 应用场景
该研究的潜在应用领域包括情感计算、情感识别和人机交互等。通过理解情感概念的跨模态泛化，能够提升多模态系统在情感理解方面的能力，进而推动智能助手、社交机器人等技术的发展。
📄 摘要（原文）
Recent studies suggest that large language models encode emotion concepts as structured internal representations, but most existing work focuses on text and a single architecture. Therefore, we ask, do emotion concepts generalize across sources, modalities, and architectures in vision--language models (VLMs)? To address this, we construct CMES (Cross-Modal Emotion Stimuli), a multi-source collection of emotion-conditioned stories, real facial expressions, synthetic portraits, and synthetic emotion-evoking scenes. For each stimulus source, we extract a separate set of six Ekman emotion vectors from each of three VLMs. We report four main findings as follows: 1) Image-derived emotion vectors form a low-dimensional geometry similar to that of text-derived vectors. Valence is relatively stable across sources, while arousal varies more. 2) Text- and image-derived emotion vectors have modest cosine similarity but still show held-out cross-modal correspondence. Text-derived vectors can also steer image interpretation. 3) Cross-architecture correspondence remains even when native cosine is near zero. Transformations estimated from generic ImageNet activations recover both correspondence and causal transfer without using the six emotion vectors or their labels. 4) After aligning representations across architectures, we construct a shared emotion subspace that preserves affective geometry and selective steering effects. The corresponding consensus emotion vectors also generalize to a held-out fourth architecture at two model sizes. These results suggest that emotion representations can share relational structure and causal effects across sources, modalities, and architectures, even when individual vector directions differ.