CNeuroMod-THINGS, a densely-sampled fMRI dataset for visual neuroscience

📄 arXiv: 2507.09024v4 📥 PDF

作者: Marie St-Laurent, Basile Pinsard, Oliver Contier, Elizabeth DuPre, Katja Seeliger, Valentina Borghesani, Julie A. Boyle, Lune Bellec, Martin N. Hebart

分类: q-bio.NC, cs.CV

发布日期: 2025-07-11 (更新: 2025-10-22)

备注: 16 pages manuscript, 5 figures, 9 pages supplementary material

💡 一句话要点

CNeuroMod-THINGS：一个用于视觉神经科学的密集采样fMRI数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: fMRI数据集 视觉神经科学 神经-AI建模 语义表征 密集采样

📋 核心要点

  1. 神经-AI建模需要大规模神经影像数据集，但现有数据集在规模和多样性上存在局限。
  2. CNeuroMod-THINGS通过整合THINGS图像集和CNeuroMod的fMRI数据，构建了一个大规模、密集采样的fMRI数据集。
  3. 该数据集包含720个类别的约4000张图像，并提供了行为和神经影像指标，验证了数据的质量。

📝 摘要（中文）

CNeuroMod-THINGS通过在一个新的大规模、密集采样的fMRI数据集中，捕捉一系列语义概念的神经表征，从而满足了数据驱动的神经-AI建模对更大规模神经影像数据集的需求。该项目利用了THINGS计划和Courtois神经建模项目(CNeuroMod)之间的协同效应。THINGS开发了一套经过全面标注的图像，广泛采样了自然和人造物体，用于获取不断增长的大规模多模态神经反应集合。同时，CNeuroMod正在从一组核心参与者中获取数百小时的fMRI数据，这些数据来自受控和自然任务，包括电影观看和视频游戏等视觉任务。对于CNeuroMod-THINGS，四名CNeuroMod参与者各自完成了33-36个会话的连续识别范式，使用了来自THINGS刺激集的约4000张图像，涵盖720个类别。我们报告了行为和神经影像指标，展示了数据的质量。通过桥接大型现有资源，CNeuroMod-THINGS扩展了我们对人类视觉体验的广泛切片进行建模的能力。

🔬 方法详解

问题定义：现有神经-AI模型训练依赖大规模神经影像数据集，但现有数据集在图像类别覆盖度、数据量和被试数量上存在不足，限制了模型泛化能力和对人类视觉系统更全面理解。

核心思路：论文核心在于整合现有资源，即THINGS图像集（包含大量标注图像）和CNeuroMod项目积累的fMRI数据，通过精心设计的实验范式，构建一个高质量、大规模的fMRI数据集。这种整合思路避免了从零开始收集数据的巨大成本，并充分利用了现有资源的优势。

技术框架：CNeuroMod-THINGS数据集的构建流程主要包括以下几个阶段：1) 从THINGS图像集中选择约4000张图像，涵盖720个类别；2) 招募4名CNeuroMod参与者；3) 设计连续识别范式实验，每个参与者完成33-36个会话；4) 使用fMRI技术记录参与者在观看图像时的脑活动；5) 对fMRI数据进行预处理和分析，并计算行为和神经影像指标。

关键创新：该研究的关键创新在于整合了两个现有的大型项目（THINGS和CNeuroMod），从而高效地构建了一个大规模、高质量的fMRI数据集。这种整合思路为神经科学研究提供了一种新的数据获取策略，即充分利用现有资源，避免重复劳动。此外，密集采样也是一个亮点，每个被试进行了多次实验，提高了数据的可靠性。

关键设计：实验范式采用连续识别任务，要求被试判断当前呈现的图像是否在之前出现过。这种任务能够有效地激活视觉皮层，并提供行为数据（如准确率和反应时间）用于评估数据质量。图像呈现顺序随机化，以避免顺序效应。fMRI数据采集采用标准协议，并进行了必要的预处理步骤，如运动校正和配准。

📊 实验亮点

CNeuroMod-THINGS数据集包含来自4名被试的33-36个会话的fMRI数据，使用了约4000张来自THINGS图像集的图像，涵盖720个类别。行为数据显示，被试在连续识别任务中表现良好，准确率较高。神经影像数据显示，视觉皮层对不同类别的图像表现出不同的激活模式，验证了数据的有效性。

🎯 应用场景

CNeuroMod-THINGS数据集可广泛应用于视觉神经科学和神经-AI领域，例如：训练和评估视觉认知模型、研究大脑如何表征语义概念、开发更逼真的人工视觉系统、以及为脑疾病的诊断和治疗提供新的生物标志物。该数据集的开放获取特性将促进相关领域的研究进展。

📄 摘要（原文）

Data-hungry neuro-AI modelling requires ever larger neuroimaging datasets. CNeuroMod-THINGS meets this need by capturing neural representations for a wide set of semantic concepts using well-characterized images in a new densely-sampled, large-scale fMRI dataset. Importantly, CNeuroMod-THINGS exploits synergies between two existing projects: the THINGS initiative (THINGS) and the Courtois Project on Neural Modelling (CNeuroMod). THINGS has developed a common set of thoroughly annotated images broadly sampling natural and man-made objects which is used to acquire a growing collection of large-scale multimodal neural responses. Meanwhile, CNeuroMod is acquiring hundreds of hours of fMRI data from a core set of participants during controlled and naturalistic tasks, including visual tasks like movie watching and videogame playing. For CNeuroMod-THINGS, four CNeuroMod participants each completed 33-36 sessions of a continuous recognition paradigm using approximately 4000 images from the THINGS stimulus set spanning 720 categories. We report behavioural and neuroimaging metrics that showcase the quality of the data. By bridging together large existing resources, CNeuroMod-THINGS expands our capacity to model broad slices of the human visual experience.