Talking to the brain: Using Large Language Models as Proxies to Model Brain Semantic Representation

📄 arXiv: 2502.18725v1 📥 PDF

作者: Xin Liu, Ziyue Zhang, Jingxin Nie

分类: cs.AI, cs.CL, q-bio.NC

发布日期: 2025-02-26

备注: 20 pages, 6 figures

💡 一句话要点

利用大语言模型作为代理，建模大脑语义表征，解决自然刺激下的语义信息提取难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 语义表征 视觉问答 fMRI 认知神经科学 大脑语义网络 自然刺激

📋 核心要点

  1. 传统心理学实验在处理自然刺激时，面临手动标注工作量大和生态效度不足的挑战。
  2. 该研究利用多模态大语言模型，通过视觉问答方式提取自然图像的语义信息，作为大脑语义表征的代理。
  3. 实验验证了LLM表征预测神经活动模式的可行性，并构建大脑语义网络，揭示了大脑皮层区域的语义组织结构。

📝 摘要（中文）

本研究提出了一种新颖的范式，利用多模态大语言模型（LLM）作为代理，通过视觉问答（VQA）策略从自然图像中提取丰富的语义信息，用于分析人类视觉语义表征。该方法旨在解决传统心理学实验中自然刺激的手动标注和生态效度问题。实验结果表明，LLM衍生的表征能够成功预测fMRI测量的神经活动模式（例如，面部、建筑物），验证了其可行性，并揭示了跨皮层区域的分层语义组织。基于LLM衍生的表征构建的大脑语义网络识别出反映功能和上下文关联的有意义的集群。这种创新方法为研究自然刺激下的大脑语义组织提供了一个强大的解决方案，克服了传统标注方法的局限性，并为更具生态效度的人类认知探索铺平了道路。

🔬 方法详解

问题定义：传统心理学实验使用自然刺激时，需要大量的人工标注，成本高昂且主观性强。此外，实验刺激往往过于简单，缺乏生态效度，难以反映真实世界中的认知过程。因此，如何高效、客观地提取自然刺激中的语义信息，并将其与大脑活动联系起来，是一个重要的研究问题。

核心思路：本研究的核心思路是利用大语言模型（LLM）强大的语义理解和生成能力，将其作为大脑语义表征的代理。通过视觉问答（VQA）的方式，让LLM对自然图像进行语义描述，从而获得图像的丰富语义信息。这种方法避免了人工标注的繁琐和主观性，同时能够处理更复杂的自然刺激。

技术框架：该研究的技术框架主要包括以下几个步骤：1) 使用自然图像作为刺激；2) 利用多模态LLM（例如，可以处理图像和文本的LLM）对图像进行视觉问答，生成图像的语义描述；3) 将LLM生成的语义描述转换为向量表征；4) 使用fMRI数据测量大脑活动；5) 将LLM表征与fMRI数据进行关联分析，验证LLM表征是否能够预测大脑活动模式；6) 构建基于LLM表征的大脑语义网络，分析大脑的语义组织结构。

关键创新：该研究的关键创新在于将LLM作为大脑语义表征的代理，并利用视觉问答的方式从自然图像中提取语义信息。与传统的基于人工标注或简单特征提取的方法相比，该方法能够更全面、更客观地捕捉图像的语义信息，并能够处理更复杂的自然刺激。此外，该研究还构建了基于LLM表征的大脑语义网络，为研究大脑的语义组织结构提供了一种新的视角。

关键设计：在实验设计方面，研究者选择了具有代表性的自然图像作为刺激，例如包含面部、建筑物等常见物体的图像。在LLM的选择上，研究者使用了能够处理图像和文本的多模态LLM。在视觉问答方面，研究者设计了一系列问题，引导LLM对图像进行语义描述。在关联分析方面，研究者使用了回归分析等统计方法，评估LLM表征与fMRI数据的相关性。具体参数设置和网络结构细节在论文中应该有更详细的描述（未知）。

📊 实验亮点

实验结果表明，LLM衍生的表征能够成功预测fMRI测量的神经活动模式，例如对面部和建筑物等刺激的神经反应。基于LLM表征构建的大脑语义网络能够识别出反映功能和上下文关联的有意义的集群，验证了LLM作为大脑语义表征代理的可行性。具体的性能数据和提升幅度需要在论文中查找（未知）。

🎯 应用场景

该研究成果可应用于认知神经科学、人工智能和人机交互等领域。例如，可以用于开发更智能的图像理解系统，帮助理解大脑如何处理视觉信息，设计更自然的人机交互界面，以及辅助诊断神经系统疾病。未来，该方法有望扩展到其他感觉模态，例如听觉和触觉，从而更全面地理解大脑的语义表征。

📄 摘要（原文）

Traditional psychological experiments utilizing naturalistic stimuli face challenges in manual annotation and ecological validity. To address this, we introduce a novel paradigm leveraging multimodal large language models (LLMs) as proxies to extract rich semantic information from naturalistic images through a Visual Question Answering (VQA) strategy for analyzing human visual semantic representation. LLM-derived representations successfully predict established neural activity patterns measured by fMRI (e.g., faces, buildings), validating its feasibility and revealing hierarchical semantic organization across cortical regions. A brain semantic network constructed from LLM-derived representations identifies meaningful clusters reflecting functional and contextual associations. This innovative methodology offers a powerful solution for investigating brain semantic organization with naturalistic stimuli, overcoming limitations of traditional annotation methods and paving the way for more ecologically valid explorations of human cognition.