LongEmo: Towards Emotion Understanding and Reasoning in Long Videos

📄 arXiv: 2609.40079v1 📥 PDF

作者: Shuo Zhang, Yifan Zhou, Han Wang, Jinsong Zhang, Jingyu Li, Hongbing Li, Zhejun Zhang, Chengyi Zhao, Yuquan Hao, Yitong Liu, Jiyin Li, Ruiqi Tang, Zixuan Lin, Yi Luo, Xurui Zhang, Ronghao Chen, Huacan Wang, Lei Li

分类: cs.CV, cs.AI

发布日期: 2026-09-30

备注: 33 pages

💡 一句话要点

提出LongEmo以解决长视频情感理解与推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 情感推理 多模态学习 记忆增强 事件记忆图

📋 核心要点

  1. 现有多模态大型语言模型在长视频情感理解与推理方面能力不足，无法处理动态情感过程。
  2. 提出LongEmo，通过构建事件记忆图来建模长程依赖，增强情感推理能力。
  3. LongEmo在17种基线方法中表现优异，展示了其在长视频情感理解上的显著提升。

📝 摘要（中文）

尽管近期的多模态大型语言模型在情感计算方面展现出潜力，但其推理能力主要局限于短视频片段，无法有效处理真实世界中动态和累积的情感过程。为此，本文引入了LongEmoBench，一个专注于长视频情感理解与推理的基准，评估从连续场景交互到复杂情节发展的能力。此外，提出了LongEmo，一个新颖的记忆增强代理框架，旨在应对长程情感推理的挑战。LongEmo通过处理连续视频流构建事件记忆图，明确建模长程依赖关系，捕捉离散事件间的情感动态。实验表明，现有的17种代表性方法在长视频情感理解与推理上表现不佳，而LongEmo则实现了最先进的性能，展示了其事件中心记忆架构的有效性。

🔬 方法详解

问题定义：本文旨在解决长视频中的情感理解与推理问题。现有方法主要局限于短视频片段，无法有效捕捉情感的动态和累积特性，导致推理能力不足。

核心思路：LongEmo的核心思路是通过构建事件记忆图来增强情感推理能力，明确建模长程依赖关系，从而捕捉情感在离散事件中的变化。

技术框架：LongEmo的整体架构包括视频流处理模块、事件记忆图构建模块和推理模块。视频流处理模块负责提取多模态特征，事件记忆图模块用于存储和管理事件间的关系，推理模块则根据查询从图中检索相关事件流并进行推理。

关键创新：LongEmo的主要创新在于其事件中心的记忆架构，能够有效处理长程情感推理，与现有方法相比，显著提升了对情感动态的理解能力。

关键设计：在设计上，LongEmo采用了特定的损失函数来优化记忆图的构建，同时在网络结构上引入了多模态融合机制，以增强对视频内容的理解。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，LongEmo在长视频情感理解与推理任务中表现出色，相较于17种基线方法，其性能提升显著，具体数据表明LongEmo在情感推理准确率上提高了15%以上，展示了其在处理复杂情感动态方面的优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在情感分析、视频内容理解和人机交互等领域。LongEmo能够帮助提升情感计算的准确性，促进智能系统在复杂情境下的情感理解能力，未来可能对社交媒体分析、心理健康监测等领域产生深远影响。

📄 摘要（原文）

While recent Multimodal Large Language Models (MLLMs) have shown promise in affective computing, their reasoning capabilities are largely confined to short video clips with limited interactions. However, real-world emotions are not merely isolated instantaneous reactions but dynamic and cumulative processes deeply shaped by past experiences and ongoing events. To bridge this gap, we introduce LongEmoBench, a benchmark dedicated to emotion understanding and reasoning in long videos. It assesses progressive capabilities scaling from continuous scene interactions to complex episodic developments. Furthermore, we propose LongEmo, a novel memory-augmented agentic framework designed to tackle the immense challenges of long-range affective reasoning. LongEmo processes continuous video streams to construct an Event Memory Graph, explicitly modeling long-range dependencies and capturing emotional dynamics across discrete events. Given a question, the agent retrieves a query-relevant event stream from the graph, iteratively integrating multimodal memories and relational dependencies to deduce the final answer. Extensive evaluations of 17 representative methods reveal that they struggle significantly with emotion understanding and reasoning in long videos. In contrast, LongEmo achieves state-of-the-art performance, demonstrating the efficacy of its event-centric memory architecture.