Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding

📄 arXiv: 2407.08150v3 📥 PDF

作者: Minghui Wu, Chenxu Zhao, Anyang Su, Donglin Di, Tianyu Fu, Da An, Min He, Ya Gao, Meng Ma, Kun Yan, Ping Wang

分类: cs.CV

发布日期: 2024-07-11 (更新: 2024-09-05)

备注: Accepted by ACM MULTIMEDIA 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出HMLLM模型，利用脑电和眼动多模态数据评估视频理解中的异质性反应。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 视频理解 脑电信号 眼动追踪 超图神经网络 大语言模型 主观认知 异质性反应

📋 核心要点

  1. 现有视频理解基准测试在模态数量、答案长度和视频内容复杂度方面存在局限性，难以反映真实场景下的主观认知差异。
  2. 论文提出超图多模态大语言模型(HMLLM)，旨在通过融合脑电、眼动等多模态信息，弥合语义鸿沟，提升逻辑推理能力。
  3. 在SRI-ADV数据集和多个视频生成基准测试上的实验结果表明，HMLLM模型能够有效提升视频理解和生成性能。

📝 摘要（中文）

视频的创造性和内容理解因人而异，不同年龄、经验和性别的人在关注点和认知水平上存在差异。目前，这方面的研究还很缺乏，现有的基准测试也存在一些缺陷：1) 模态数量有限，答案长度受限；2) 视频中的内容和场景过于单调，传递的寓言和情感过于简单。为了弥合与实际应用的差距，我们引入了一个大规模的广告视频主观反应指标数据集，即SRI-ADV。具体来说，我们收集了不同人群在观看相同视频内容时脑电图(EEG)和眼动区域的真实变化。利用这个多模态数据集，我们开发了任务和协议，以分析和评估不同用户对视频内容的认知理解程度。伴随数据集，我们设计了一个超图多模态大语言模型(HMLLM)，以探索不同人群、视频元素、脑电图和眼动指标之间的关联。HMLLM可以弥合丰富模态之间的语义差距，并整合不同模态之外的信息以进行逻辑推理。在SRI-ADV和其他基于视频的生成性能基准上的大量实验评估证明了我们方法的有效性。

🔬 方法详解

问题定义：论文旨在解决视频理解中个体主观认知差异难以量化和建模的问题。现有方法通常依赖于有限的模态信息和简单的视频内容，无法捕捉不同人群在观看视频时的复杂认知过程，导致对视频内容理解的偏差。

核心思路：论文的核心思路是利用脑电(EEG)和眼动等多模态生理信号，结合大语言模型，构建一个能够理解和推理个体主观认知差异的模型。通过超图结构建模不同模态之间的复杂关系，从而弥合语义鸿沟，提升模型对视频内容的理解能力。

技术框架：HMLLM模型的整体框架包括以下几个主要模块：1) 多模态数据编码器：用于提取视频、脑电、眼动等模态的特征表示；2) 超图构建模块：利用提取的特征构建超图，其中节点表示不同模态的元素，超边表示它们之间的关系；3) 超图神经网络：在超图上进行信息传播和聚合，学习不同模态之间的关联；4) 大语言模型：利用学习到的多模态表示进行视频理解和生成任务。

关键创新：论文最重要的技术创新点在于提出了超图多模态大语言模型(HMLLM)，该模型能够有效地融合不同模态的信息，并利用超图结构建模模态之间的复杂关系。与现有方法相比，HMLLM能够更好地捕捉个体主观认知差异，提升视频理解和生成性能。

关键设计：在超图构建模块中，论文采用了基于注意力机制的方法来确定超边的权重，从而更好地反映不同模态之间的关联强度。在损失函数方面，论文结合了交叉熵损失和对比学习损失，以提高模型的泛化能力。具体的网络结构和参数设置在论文中有详细描述，此处不再赘述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HMLLM模型在SRI-ADV数据集上取得了显著的性能提升，尤其是在视频理解和生成任务上。相较于基线模型，HMLLM在多个指标上均有明显改善，证明了其有效性。此外，在其他视频生成基准测试上的实验结果也验证了HMLLM的泛化能力。

🎯 应用场景

该研究成果可应用于广告效果评估、个性化推荐、教育视频分析等领域。通过分析用户的脑电和眼动数据，可以更准确地评估广告的吸引力和用户对视频内容的理解程度，从而优化广告投放策略。此外，该技术还可以用于个性化推荐系统，根据用户的认知特点推荐更符合其兴趣的视频内容。在教育领域，可以分析学生观看教学视频时的认知状态，从而改进教学方法。

📄 摘要（原文）

Understanding of video creativity and content often varies among individuals, with differences in focal points and cognitive levels across different ages, experiences, and genders. There is currently a lack of research in this area, and most existing benchmarks suffer from several drawbacks: 1) a limited number of modalities and answers with restrictive length; 2) the content and scenarios within the videos are excessively monotonous, transmitting allegories and emotions that are overly simplistic. To bridge the gap to real-world applications, we introduce a large-scale Subjective Response Indicators for Advertisement Videos dataset, namely SRI-ADV. Specifically, we collected real changes in Electroencephalographic (EEG) and eye-tracking regions from different demographics while they viewed identical video content. Utilizing this multi-modal dataset, we developed tasks and protocols to analyze and evaluate the extent of cognitive understanding of video content among different users. Along with the dataset, we designed a Hypergraph Multi-modal Large Language Model (HMLLM) to explore the associations among different demographics, video elements, EEG, and eye-tracking indicators. HMLLM could bridge semantic gaps across rich modalities and integrate information beyond different modalities to perform logical reasoning. Extensive experimental evaluations on SRI-ADV and other additional video-based generative performance benchmarks demonstrate the effectiveness of our method. The codes and dataset will be released at https://github.com/mininglamp-MLLM/HMLLM.