FlatClip: A Geometry-Aware Surface-Level Baseline for fMRI Representation Learning

📄 arXiv: 2609.31204v1 📥 PDF

作者: Mo Wang, Wenhao Ye, Zihan Ning, Jiayu Zuo, Junfeng Xia, Hongkai Wen, Quanying Liu

分类: cs.CE, cs.CV, q-bio.NC

发布日期: 2026-09-25

备注: NeurIPS 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出FlatClip以解决fMRI表示学习中的空间尺度问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: fMRI 表示学习 几何感知 平面图序列 脑活动 深度学习 神经科学 图像编码

📋 核心要点

  1. 现有fMRI模型在空间尺度上存在显著差异，ROI模型效率高但精度低，体素模型则需要复杂架构和预训练。
  2. FlatClip通过几何感知的平面图序列表示皮层活动，重用冻结的SigLIP2图像编码器，提供了一种轻量级的下游探测方案。
  3. 在多个基准测试中，FlatClip在HCP和ADNI任务上表现优于ROI级基线，展示了任务相关皮层覆盖的重要性。

📝 摘要（中文）

近年来，fMRI基础模型在表示大脑活动的空间尺度上存在显著差异。ROI和连接性模型高效但粗糙，而体素级模型保留了细粒度的空间结构，但需要专门的3D/4D架构和昂贵的fMRI特定预训练。本文提出FlatClip，一个冻结编码器的表面级基线，通过几何感知的平面图序列呈现皮层活动，并重用轻量级下游探测器。实验结果表明，FlatClip在HCP和ADNI任务上超越ROI级基线，尽管在PPMI任务上表现较弱，整体上仍低于最强的体素级模型。

🔬 方法详解

问题定义：本文旨在解决fMRI表示学习中不同模型在空间尺度上的差异，现有ROI和体素模型各有优缺点，难以兼顾效率与精度。

核心思路：FlatClip的核心思路是利用几何感知的平面图序列来表示皮层活动，重用冻结的图像编码器以降低计算成本，同时保持一定的空间结构信息。

技术框架：FlatClip的整体架构包括一个冻结的SigLIP2图像编码器和一个轻量级的下游探测器，主要流程为将皮层活动映射为平面图序列并进行特征提取。

关键创新：FlatClip的创新在于将几何信息与图像预训练特征结合，形成了一种新的表面级表示方法，填补了ROI和体素模型之间的空白。

关键设计：在设计上，FlatClip采用了冻结的图像编码器，结合轻量级探测器，优化了输入数据的选择，强调了任务相关的皮层覆盖。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FlatClip在HCP和ADNI任务上超越了ROI级基线，展示了其作为中间基线的竞争力。在视觉fMRI解码中，限制输入到视觉或任务相关的皮层显著提高了性能，强调了任务相关覆盖的重要性。

🎯 应用场景

该研究的潜在应用领域包括神经科学研究、临床诊断和脑机接口等。通过提供一种高效的fMRI表示学习方法，FlatClip有助于更好地理解大脑活动模式，推动相关领域的研究和应用发展。

📄 摘要（原文）

Recent fMRI foundation models differ substantially in the spatial scale at which they represent brain activity. ROI- and connectivity-based models are efficient but coarse, whereas voxel-level models preserve fine-grained spatial structure but require specialized 3D/4D architectures and costly fMRI-specific pretraining. We ask how effectively an image-pretrained encoder can reuse the spatial organization of cortical activity. Motivated by evidence that macroscale brain activity is strongly constrained by brain geometry, we introduce FlatClip, a frozen-encoder surface-level baseline that renders cortical activity as geometry-aware flatmap sequences and reuses a frozen SigLIP2 image encoder with only a lightweight downstream probe. Across resting-state benchmarks, FlatClip serves as a competitive middle-ground representation, outperforming ROI-level baselines on HCP and ADNI tasks while remaining weaker on PPMI and below the strongest voxel-level models overall. On visual-fMRI decoding, restricting the input to visual or NSD-provided task-active cortex improves performance, highlighting the value of task-relevant cortical coverage. Spatial perturbation controls reduce the predictive performance of flatmap features under both retrained and fixed readouts, and anatomy-linked arrangements consistently outperform vertex permutations across three colormaps. Together, these results position surface-level flatmap sequences as a practical middle-ground baseline between ROI and voxel models, and support the utility of anatomy-linked spatial organization for reusing image-pretrained features. Code is available at https://github.com/OneMore1/FlatClip.