A Unified Geometric Space Bridging AI Models and the Human Brain
作者: Silin Chen, Yuzhong Chen, Zifan Wang, Junhao Wang, Zifeng Jia, Keith M Kendrick, Tuo Zhang, Lin Zhao, Dezhong Yao, Tianming Liu, Xi Jiang
分类: cs.AI
发布日期: 2025-10-28
💡 一句话要点
提出脑类空间统一框架，跨模态对齐AI模型与人脑认知
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 脑-AI对齐 脑类空间 Transformer模型 跨模态学习 空间注意力 认知机制 人工智能 功能脑网络
📋 核心要点
- 现有脑-AI对齐研究缺乏统一的比较框架，难以跨模态比较AI模型的内在组织方式。
- 提出“脑类空间”概念，通过映射AI模型的空间注意力拓扑到人类脑网络，实现跨模态对齐。
- 实验表明，不同模型在脑类空间中呈现弧形分布，脑相似性受模态、预训练和位置编码影响。
📝 摘要（中文）
神经科学家和计算机科学家长期以来致力于理解和构建智能。现代人工神经网络在语言、感知和推理方面已经可以与人类媲美，但这些人工系统是否像大脑一样组织信息仍然未知。现有的脑-AI对齐研究显示了两者之间的显著对应关系，但这些比较仍然局限于特定的输入和任务，无法为比较具有不同模态（视觉、语言或多模态）的AI模型的内在组织方式提供共同基础。本文提出了“脑类空间”这一突破性概念：一个统一的几何空间，通过将每个AI模型的内在空间注意力拓扑组织映射到规范的人类功能脑网络，可以精确地定位和比较每个AI模型，而无需考虑输入模态、任务或感觉域。对151个基于Transformer的模型（包括最先进的大型视觉模型、大型语言模型和大型多模态模型）的广泛分析揭示了这个空间内一个连续的弧形几何结构，反映了脑相似性的逐渐增加；不同的模型在这个几何结构中表现出不同的分布模式，这些模式与不同程度的脑相似性相关，不仅受其模态的影响，还受预训练范式是否强调全局语义抽象以及位置编码方案是否促进跨不同模态的深度融合的影响。此外，模型的脑相似程度与其下游任务性能并非完全一致。“脑类空间”为跨领域定位、量化和比较智能提供了第一个统一框架，揭示了连接机器和大脑的深层组织原则。
🔬 方法详解
问题定义：现有研究在比较AI模型与人脑的认知机制时，往往受限于特定任务和模态，缺乏一个通用的框架来衡量和比较不同AI模型的内在组织方式。这使得我们难以理解不同模态的AI模型（如视觉模型、语言模型和多模态模型）在信息处理上的异同，以及它们与人脑认知机制的相似程度。
核心思路：本文的核心思路是构建一个“脑类空间”，将AI模型的内在空间注意力拓扑结构映射到这个空间中，并以人类功能脑网络作为参考。通过这种方式，可以将不同模态的AI模型置于同一空间进行比较，从而量化它们的“脑相似性”。这种方法的核心在于，它将AI模型的内部表征与人脑的认知结构联系起来，提供了一个统一的比较框架。
技术框架：该框架主要包含以下几个步骤：1) 选取一系列具有代表性的Transformer模型，涵盖视觉、语言和多模态领域。2) 提取这些模型的空间注意力图，反映模型在处理信息时的关注区域。3) 将这些注意力图映射到预定义的“脑类空间”中，该空间基于人类功能脑网络构建。4) 分析模型在脑类空间中的分布情况，并量化它们的脑相似性。5) 探究模型在脑类空间中的位置与其性能、模态、预训练方式等因素之间的关系。
关键创新：该研究的关键创新在于提出了“脑类空间”这一概念，并将其应用于跨模态AI模型的比较。与以往研究相比，该方法不再局限于特定任务或模态，而是提供了一个统一的框架来衡量AI模型的脑相似性。此外，该研究还揭示了模型在脑类空间中的分布与其预训练方式、位置编码等因素之间的关系，为理解AI模型的内在组织方式提供了新的视角。
关键设计：在构建脑类空间时，作者使用了人类功能脑网络作为参考，这保证了该空间具有生物学上的合理性。在映射AI模型的注意力图时，作者采用了合适的数学方法，以确保映射的准确性和可比性。此外，作者还设计了一系列实验来验证该框架的有效性，并探究了不同因素对模型脑相似性的影响。
🖼️ 关键图片
📊 实验亮点
研究发现，151个Transformer模型在脑类空间中呈现连续的弧形几何结构，反映了脑相似性的逐渐增加。不同模型在空间中的分布与其模态、预训练方式和位置编码有关。例如，强调全局语义抽象的预训练模型更接近人脑。此外，模型的脑相似性与其下游任务性能并非完全一致，表明脑相似性并非提升性能的唯一因素。
🎯 应用场景
该研究成果可应用于指导新型AI模型的设计，使其更符合人脑认知机制，从而提高模型的泛化能力和鲁棒性。此外，该框架还可用于评估不同AI模型的安全性，例如，通过分析模型在脑类空间中的位置，可以判断模型是否容易受到对抗攻击。该研究还有助于深入理解人类智能的本质，并为开发更智能的AI系统提供理论基础。
📄 摘要（原文）
For decades, neuroscientists and computer scientists have pursued a shared ambition: to understand intelligence and build it. Modern artificial neural networks now rival humans in language, perception, and reasoning, yet it is still largely unknown whether these artificial systems organize information as the brain does. Existing brain-AI alignment studies have shown the striking correspondence between the two systems, but such comparisons remain bound to specific inputs and tasks, offering no common ground for comparing how AI models with different kinds of modalities-vision, language, or multimodal-are intrinsically organized. Here we introduce a groundbreaking concept of Brain-like Space: a unified geometric space in which every AI model can be precisely situated and compared by mapping its intrinsic spatial attention topological organization onto canonical human functional brain networks, regardless of input modality, task, or sensory domain. Our extensive analysis of 151 Transformer-based models spanning state-of-the-art large vision models, large language models, and large multimodal models uncovers a continuous arc-shaped geometry within this space, reflecting a gradual increase of brain-likeness; different models exhibit distinct distribution patterns within this geometry associated with different degrees of brain-likeness, shaped not merely by their modality but by whether the pretraining paradigm emphasizes global semantic abstraction and whether the positional encoding scheme facilitates deep fusion across different modalities. Moreover, the degree of brain-likeness for a model and its downstream task performance are not "identical twins". The Brain-like Space provides the first unified framework for situating, quantifying, and comparing intelligence across domains, revealing the deep organizational principles that bridge machines and the brain.