Revealing Vision-Language Integration in the Brain with Multimodal Networks

📄 arXiv: 2406.14481v1 📥 PDF

作者: Vighnesh Subramaniam, Colin Conwell, Christopher Wang, Gabriel Kreiman, Boris Katz, Ignacio Cases, Andrei Barbu

分类: cs.LG, cs.AI, cs.NE, q-bio.NC

发布日期: 2024-06-20

备注: ICML 2024; 23 pages, 11 figures

💡 一句话要点

利用多模态网络揭示大脑中的视觉-语言融合机制

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 视觉-语言 脑电信号 深度神经网络 神经科学 立体脑电图 CLIP训练

📋 核心要点

  1. 现有方法难以精确定位大脑中视觉和语言信息融合的具体位置和机制。
  2. 利用多模态深度神经网络预测脑电信号，通过比较不同模态模型预测性能来识别多模态整合区域。
  3. 实验表明，CLIP风格训练的多模态模型在预测神经活动方面表现最佳，并识别出多个多模态整合位点。

📝 摘要（中文）

本文利用多模态深度神经网络(DNNs)，通过预测人类受试者观看电影时的立体脑电图(SEEG)记录，来探究人脑中多模态整合的区域。我们将多模态整合区域定义为：多模态视觉-语言模型预测脑电记录的效果优于单模态语言模型、单模态视觉模型或线性整合的语言-视觉模型。我们采用了不同的DNN架构（如卷积网络和Transformer）和多模态训练技术（如交叉注意力机制和对比学习）。首先，我们证明了经过训练的视觉和语言模型在预测SEEG信号方面系统性地优于随机初始化的模型。然后，我们将单模态模型和多模态模型进行比较。为了控制模型架构、参数数量和训练集差异对结果的影响，我们对两个模型（SLIP和SimCLR）进行了受控比较，这两个模型除了输入模态外，其他属性均相同。通过这种方法，我们识别出大量神经位点（平均1090个位点中的141个，即12.94%）和大脑区域，这些区域似乎发生了多模态整合。此外，我们发现，在我们评估的多模态训练技术变体中，CLIP风格的训练最适合下游神经活动预测。

🔬 方法详解

问题定义：论文旨在解决如何准确识别和定位人脑中视觉和语言信息融合发生的区域。现有的神经科学研究方法，例如fMRI和EEG，虽然可以提供大脑活动的信息，但空间分辨率或时间分辨率有限，难以精确定位多模态整合的具体位置。此外，构建能够有效模拟大脑信息处理过程的模型仍然是一个挑战。

核心思路：论文的核心思路是利用深度神经网络（DNNs）作为大脑功能的计算模型，通过比较单模态和多模态模型预测脑电信号的能力，来推断大脑中发生多模态整合的区域。如果一个区域的脑电信号能被多模态模型更好地预测，则认为该区域参与了多模态整合。

技术框架：整体框架包括以下几个步骤：1)收集人类受试者观看电影时的立体脑电图(SEEG)数据；2)训练单模态（视觉、语言）和多模态深度神经网络；3)使用训练好的模型预测SEEG信号；4)比较不同模型的预测性能，识别多模态整合区域。模型包括卷积神经网络和Transformer等不同架构，以及交叉注意力机制和对比学习等不同的多模态训练技术。

关键创新：论文的关键创新在于将深度学习模型与神经科学数据相结合，提出了一种新的研究大脑多模态整合的方法。通过比较不同模态模型的预测能力，可以更精确地定位大脑中发生多模态整合的区域。此外，论文还控制了模型架构、参数数量和训练集等因素，从而更准确地评估多模态整合的效果。

关键设计：论文的关键设计包括：1)使用立体脑电图(SEEG)数据，提供高空间分辨率的脑活动信息；2)采用多种深度神经网络架构和多模态训练技术，以评估不同模型的性能；3)通过控制模型参数和训练集，进行受控比较，从而更准确地评估多模态整合的效果；4)使用CLIP风格的训练方法，发现其在预测神经活动方面表现最佳。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，多模态模型在预测大脑特定区域的神经活动方面优于单模态模型，表明这些区域参与了视觉和语言信息的整合。具体来说，平均1090个位点中有141个（12.94%）被识别为多模态整合位点。此外，CLIP风格的训练方法在预测神经活动方面表现最佳，为多模态模型的设计提供了重要启示。

🎯 应用场景

该研究成果可应用于理解人类认知过程，特别是视觉和语言信息整合的神经机制。未来可用于开发更先进的人工智能系统，例如具有更强理解能力和推理能力的视觉-语言模型。此外，该方法还可用于研究其他类型的感觉信息整合，以及神经系统疾病中多模态整合的异常。

📄 摘要（原文）

We use (multi)modal deep neural networks (DNNs) to probe for sites of multimodal integration in the human brain by predicting stereoencephalography (SEEG) recordings taken while human subjects watched movies. We operationalize sites of multimodal integration as regions where a multimodal vision-language model predicts recordings better than unimodal language, unimodal vision, or linearly-integrated language-vision models. Our target DNN models span different architectures (e.g., convolutional networks and transformers) and multimodal training techniques (e.g., cross-attention and contrastive learning). As a key enabling step, we first demonstrate that trained vision and language models systematically outperform their randomly initialized counterparts in their ability to predict SEEG signals. We then compare unimodal and multimodal models against one another. Because our target DNN models often have different architectures, number of parameters, and training sets (possibly obscuring those differences attributable to integration), we carry out a controlled comparison of two models (SLIP and SimCLR), which keep all of these attributes the same aside from input modality. Using this approach, we identify a sizable number of neural sites (on average 141 out of 1090 total sites or 12.94%) and brain regions where multimodal integration seems to occur. Additionally, we find that among the variants of multimodal training techniques we assess, CLIP-style training is the best suited for downstream prediction of the neural activity in these sites.