Brain-Aligned Multimodal LLMs for Social and Emotional Understanding of Cartoon Movies
作者: Yiran Huang, Zeyong Zhang, Bharat Biswal, Xin Di, Mengjia Xu
分类: cs.AI, q-bio.NC
发布日期: 2026-10-15
💡 一句话要点
提出脑对齐的多模态大语言模型以理解卡通电影中的社会与情感
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态大语言模型 情感理解 社会认知 神经预测 卡通电影 理论思维 行为分析
📋 核心要点
- 现有的多模态大语言模型在社会和情感内容的时间一致性与人类判断之间存在不足，亟需改进。
- 本文提出了一种比较扩散与自回归MLLMs的方法，通过分析其与人类情感评分的对齐程度来解决这一问题。
- 实验结果显示，MLLM评分在某些情况下能够更好地捕捉人类的情感反应，尤其是在特定电影场景中表现出显著的编码能力。
📝 摘要（中文）
多模态大语言模型（MLLMs）提供了对社会和情感内容的可扩展注释，但其与人类判断的时间一致性和神经预测价值仍需进一步评估。本文比较了基于扩散和自回归的MLLMs与人类的理论思维（ToM）和情感价值评分在三部短卡通电影中的表现。行为分析评估了时间对齐的皮尔逊相关性、评分分布及前景场景描述的影响。结果表明，模型评分在某些条件下能够捕捉人类时间变化的某些方面，尽管存在系统性分布差异，情感价值的对齐通常强于ToM。前景上下文在某些条件下改善了对齐效果，具体取决于模型和电影。研究结果支持MLLMs作为生成社会和情感内容的脑预测注释的可扩展工具，同时强调了系统性评分差异和模型及刺激依赖的对齐特性。
🔬 方法详解
问题定义：本文旨在解决多模态大语言模型在社会与情感内容理解中的时间一致性不足问题，现有方法在与人类判断的对齐性上存在挑战。
核心思路：通过比较不同类型的MLLMs（扩散与自回归）与人类的情感评分，评估其在时间上的一致性和神经预测能力，从而提出改进方案。
技术框架：研究采用了行为分析方法，评估了模型评分与人类评分之间的皮尔逊相关性，并结合fMRI数据进行回归分析，主要模块包括数据收集、模型评分生成和神经响应预测。
关键创新：最重要的创新在于通过对比不同模型的评分与人类评分的对齐程度，揭示了MLLMs在情感内容注释中的潜力及其局限性，尤其是在特定场景下的表现。
关键设计：在模型设计中，采用了特定的损失函数以优化评分的时间对齐性，并在不同电影场景中进行了参数调优，以提高模型的预测能力。具体的网络结构和参数设置在实验中进行了详细测试。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在《现在》中，MLLM评分与人类评分的编码区域显著更多，而在其他电影中效果较为有限。模型评分在情感价值的对齐上表现出更强的能力，尤其是在特定场景的上下文影响下，提升了对人类情感反应的预测准确性。
🎯 应用场景
该研究的潜在应用领域包括情感计算、社交机器人和多模态内容生成等。通过提高模型对社会和情感内容的理解能力，可以在教育、娱乐和心理健康等领域产生积极影响，推动相关技术的发展与应用。
📄 摘要（原文）
Multimodal large language models (MLLMs) offer scalable annotations of social and affective content, but their temporal agreement with human judgments and neural predictive value require further evaluation. We compared diffusion-based and autoregressive MLLMs with continuous human Theory of Mind (ToM) and affective valence ratings across three short cartoon movies. Behavioral analyses assessed temporally aligned Pearson correlations, rating distributions, and the effects of preceding scene descriptions. Ratings from each source were separately used in subject-specific regression models to predict regional fMRI responses. Model ratings captured aspects of human temporal variation despite systematic distributional differences, with generally stronger alignment for valence than ToM. Preceding context improved alignment in some conditions, depending on the model and movie. In \emph{The Present}, more regions showed significant encoding for MLLM ratings than for human ratings, whereas effects were more limited in the other movies. Spatial overlap across rating sources occurred mainly among MLLMs; overlap between human and model ratings was limited and involved primarily visual, dorsal-attention, and posterior default-mode regions. These findings support MLLMs as scalable tools for generating brain-predictive annotations of social and emotional content, while highlighting systematic rating differences and model- and stimulus-dependent alignment with human judgments.