BrainSCUBA: Fine-Grained Natural Language Captions of Visual Cortex Selectivity

📄 arXiv: 2310.04420v3 📥 PDF

作者: Andrew F. Luo, Margaret M. Henderson, Michael J. Tarr, Leila Wehbe

分类: cs.LG, q-bio.NC

发布日期: 2023-10-06 (更新: 2024-05-03)

备注: ICLR 2024. Project page: https://www.cs.cmu.edu/~afluo/BrainSCUBA

💡 一句话要点

提出BrainSCUBA以解决视觉皮层选择性描述问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉皮层 语义选择性 自然语言处理 数据驱动方法 神经科学 对比学习 图像生成

📋 核心要点

  1. 现有方法主要依赖手动选择的刺激，可能导致结果偏向于已有假设，限制了对视觉皮层功能的全面理解。
  2. 论文提出的BrainSCUBA方法通过数据驱动生成自然语言描述，旨在最大化激活特定体素，提供更客观的分析。
  3. 实验结果表明，BrainSCUBA能够生成语义一致的图像，并在体素级别上揭示了大脑对“人”的细粒度选择性，具有重要的科学发现潜力。

📝 摘要（中文）

理解高级视觉皮层的功能组织是神经科学的核心关注点。以往研究主要通过手动选择的刺激来映射神经群体的视觉和语义选择性，这可能会导致结果偏向于已有的假设。本文提出了一种数据驱动的方法BrainSCUBA，生成自然语言描述，以最大程度激活特定体素。该方法基于对比视觉-语言模型学习的丰富嵌入空间，并利用预训练的大型语言模型生成可解释的描述。通过对高级视觉区域的细粒度体素级描述进行验证，展示了该方法的有效性，并在“人”表征的分布探索中发现了身体选择性区域的细粒度语义选择性。与早期解码文本的研究不同，BrainSCUBA直接推导出体素级的语义选择性描述，为理解大脑的功能偏好提供了新的手段。

🔬 方法详解

问题定义：本文旨在解决如何客观描述视觉皮层的选择性问题。现有方法依赖于手动选择的刺激，可能导致结果偏向已有假设，限制了对视觉皮层功能的全面理解。

核心思路：BrainSCUBA方法通过数据驱动生成自然语言描述，利用对比视觉-语言模型学习的嵌入空间，结合预训练的大型语言模型，生成可解释的描述，旨在最大化激活特定体素。

技术框架：该方法包括两个主要模块：首先是对比视觉-语言模型的嵌入空间学习，其次是使用大型语言模型生成自然语言描述。整个流程从图像输入开始，经过体素激活预测，最终输出自然语言描述。

关键创新：BrainSCUBA的主要创新在于其能够生成体素级的语义选择性描述，而不是简单的文本解码。这一方法提供了对大脑功能偏好的新视角，能够揭示更细粒度的神经选择性。

关键设计：在技术细节上，BrainSCUBA采用了对比学习的损失函数，以优化视觉和语言之间的对齐。此外，网络结构设计上结合了多层次的特征提取，以增强描述的语义丰富性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BrainSCUBA能够生成语义一致的图像，并在体素级别上揭示了大脑对“人”的细粒度选择性。与传统方法相比，该方法在语义描述的准确性和激活预测上均表现出显著提升，展示了其在科学发现中的潜力。

🎯 应用场景

BrainSCUBA的潜在应用领域包括神经科学研究、认知心理学以及计算机视觉等。该方法不仅能够帮助科学家更好地理解视觉皮层的功能组织，还能为相关领域的研究提供新的思路和工具，推动对大脑功能的深入探索。

📄 摘要（原文）

Understanding the functional organization of higher visual cortex is a central focus in neuroscience. Past studies have primarily mapped the visual and semantic selectivity of neural populations using hand-selected stimuli, which may potentially bias results towards pre-existing hypotheses of visual cortex functionality. Moving beyond conventional approaches, we introduce a data-driven method that generates natural language descriptions for images predicted to maximally activate individual voxels of interest. Our method -- Semantic Captioning Using Brain Alignments ("BrainSCUBA") -- builds upon the rich embedding space learned by a contrastive vision-language model and utilizes a pre-trained large language model to generate interpretable captions. We validate our method through fine-grained voxel-level captioning across higher-order visual regions. We further perform text-conditioned image synthesis with the captions, and show that our images are semantically coherent and yield high predicted activations. Finally, to demonstrate how our method enables scientific discovery, we perform exploratory investigations on the distribution of "person" representations in the brain, and discover fine-grained semantic selectivity in body-selective areas. Unlike earlier studies that decode text, our method derives voxel-wise captions of semantic selectivity. Our results show that BrainSCUBA is a promising means for understanding functional preferences in the brain, and provides motivation for further hypothesis-driven investigation of visual cortex.