StimuVAR: Spatiotemporal Stimuli-aware Video Affective Reasoning with Multimodal Large Language Models
作者: Yuxiang Guo, Faizan Siddiqui, Yang Zhao, Rama Chellappa, Shao-Yuan Lo
分类: cs.CV
发布日期: 2024-08-31 (更新: 2025-06-03)
备注: Paper is accepted by IJCV
🔗 代码/项目: GITHUB
💡 一句话要点
提出StimuVAR，利用多模态大语言模型进行时空刺激感知的视频情感推理。
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频情感推理 多模态大语言模型 情感刺激感知 时空建模 指令微调
📋 核心要点
- 现有MLLM在视频情感推理方面不足，主要原因是它们忽略了视频中能够引发情感的关键刺激。
- StimuVAR通过帧级和token级双重刺激感知机制，使MLLM能够关注视频中与情感相关的时空区域。
- 通过VAR指令数据进行情感训练，StimuVAR显著提升了MLLM在理解观众情感反应和提供合理性解释方面的能力。
📝 摘要（中文）
预测和推理视频如何引起人类的情感对于开发具有社会智能的系统至关重要。尽管多模态大语言模型（MLLM）已展现出令人印象深刻的视频理解能力，但它们往往更关注视频的语义内容，而忽略了情感刺激。因此，大多数现有的MLLM在估计观众的情感反应和提供合理的解释方面存在不足。为了解决这个问题，我们提出了StimuVAR，一个时空刺激感知的框架，用于使用MLLM进行视频情感推理（VAR）。StimuVAR包含一个两级刺激感知机制：帧级感知和token级感知。帧级感知涉及采样最有可能引起观众情感的事件的视频帧。Token级感知在token空间中执行tube选择，以使MLLM专注于情感触发的时空区域。此外，我们创建了VAR指令数据以执行情感训练，从而将MLLM的推理优势引导到情感焦点，从而增强其情感推理能力。为了彻底评估VAR的有效性，我们提供了一个包含广泛指标的综合评估协议。StimuVAR是第一个基于MLLM的以观众为中心的VAR方法。实验表明，它在理解观众对视频的情感反应并提供连贯而深刻的解释方面具有优越性。我们的代码可在https://github.com/EthanG97/StimuVAR获得。
🔬 方法详解
问题定义：论文旨在解决视频情感推理（VAR）问题，即预测视频如何引起观看者的情感反应并提供合理的解释。现有方法，特别是基于多模态大语言模型（MLLM）的方法，往往侧重于视频的语义内容，忽略了能够触发情感的关键刺激，导致情感推理能力不足。
核心思路：论文的核心思路是使MLLM能够感知视频中的情感刺激，从而提高其情感推理能力。具体而言，通过两级刺激感知机制（帧级和token级）来引导MLLM关注视频中与情感相关的时空区域。此外，通过情感训练，进一步增强MLLM的情感推理能力。
技术框架：StimuVAR框架包含以下主要模块：1) 帧级刺激感知：采样包含情感事件的视频帧。2) Token级刺激感知：在token空间中选择与情感相关的时空区域（tube selection）。3) 多模态大语言模型：使用MLLM进行情感推理和解释生成。4) 情感训练：使用VAR指令数据对MLLM进行微调，使其更专注于情感推理。
关键创新：StimuVAR的关键创新在于其两级刺激感知机制，这使得MLLM能够更好地关注视频中与情感相关的时空区域。与现有方法相比，StimuVAR不是简单地将整个视频输入MLLM，而是有选择地关注那些最有可能引发情感的帧和token，从而提高了情感推理的效率和准确性。
关键设计：帧级刺激感知可能涉及使用情感分类器或显著性检测模型来选择包含情感事件的帧。Token级刺激感知可能涉及使用注意力机制或相似度度量来选择与情感相关的token。VAR指令数据包含视频、情感标签和解释，用于对MLLM进行情感训练。损失函数可能包括情感分类损失和解释生成损失。
🖼️ 关键图片
📊 实验亮点
StimuVAR在视频情感推理任务上取得了显著的性能提升。实验结果表明，StimuVAR在理解观众对视频的情感反应和提供连贯而深刻的解释方面优于现有的MLLM方法。具体的性能数据和对比基线需要在论文中查找，但总体而言，StimuVAR代表了基于MLLM的视频情感推理领域的重要进展。
🎯 应用场景
StimuVAR可应用于社交机器人、情感计算、内容推荐、心理健康分析等领域。例如，社交机器人可以利用StimuVAR理解用户观看视频时的情感反应，从而提供更个性化的互动。内容推荐系统可以根据用户的情感偏好推荐更符合其口味的视频。心理健康分析可以利用StimuVAR分析用户观看视频时的情感变化，从而辅助诊断和治疗。
📄 摘要（原文）
Predicting and reasoning how a video would make a human feel is crucial for developing socially intelligent systems. Although Multimodal Large Language Models (MLLMs) have shown impressive video understanding capabilities, they tend to focus more on the semantic content of videos, often overlooking emotional stimuli. Hence, most existing MLLMs fall short in estimating viewers' emotional reactions and providing plausible explanations. To address this issue, we propose StimuVAR, a spatiotemporal Stimuli-aware framework for Video Affective Reasoning (VAR) with MLLMs. StimuVAR incorporates a two-level stimuli-aware mechanism: frame-level awareness and token-level awareness. Frame-level awareness involves sampling video frames with events that are most likely to evoke viewers' emotions. Token-level awareness performs tube selection in the token space to make the MLLM concentrate on emotion-triggered spatiotemporal regions. Furthermore, we create VAR instruction data to perform affective training, steering MLLMs' reasoning strengths towards emotional focus and thereby enhancing their affective reasoning ability. To thoroughly assess the effectiveness of VAR, we provide a comprehensive evaluation protocol with extensive metrics. StimuVAR is the first MLLM-based method for viewer-centered VAR. Experiments demonstrate its superiority in understanding viewers' emotional responses to videos and providing coherent and insightful explanations. Our code is available at https://github.com/EthanG97/StimuVAR