NeuroAgent: LLM Agents for Multimodal Neuroimaging Analysis and Research

📄 arXiv: 2605.06584v1 📥 PDF

作者: Lujia Zhong, Yihao Xia, Jianwei Zhang, Shuo huang, Jiaxin Yue, Mingyang Xia, Yonggang Shi

分类: cs.AI

发布日期: 2026-05-07

💡 一句话要点

NeuroAgent：基于LLM的多模态神经影像分析智能体框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 神经影像分析 大型语言模型 多模态数据 自动化预处理 智能体框架

📋 核心要点

  1. 现有神经影像分析流程复杂，涉及多种模态数据，预处理步骤繁琐且易出错，阻碍了研究效率和可重复性。
  2. NeuroAgent利用大型语言模型（LLM）构建多智能体系统，实现神经影像数据的自动预处理、错误恢复和结果验证。
  3. 实验结果表明，NeuroAgent在多种神经影像模态上表现出色，显著提升了预处理的准确率和效率，并在阿尔茨海默病分类任务中取得了优异的性能。

📝 摘要（中文）

多模态神经影像分析通常涉及复杂的、模态特定的预处理流程，这些流程需要仔细配置、质量控制以及跨异构工具链的协调。除了预处理之外，下游的统计分析和疾病分类通常需要特定于任务的代码、评估协议和数据格式约定，这在原始采集数据和可重复的科学分析之间设置了额外的障碍。我们提出了NeuroAgent，一个由LLM驱动的智能体框架，它可以自动执行异构神经影像数据的关键预处理和分析步骤，包括sMRI、fMRI、dMRI和PET，并通过自然语言查询支持交互式下游分析。NeuroAgent采用分层多智能体架构，具有反馈驱动的生成-执行-验证引擎：智能体自主生成可执行的预处理代码，检测并从运行时错误中恢复，并验证输出完整性。我们在跨所有ADNI阶段的1470名受试者（CN=1000，AD=470）上评估了该系统，所有受试者都具有sMRI和表格数据，其中子集还具有Tau-PET（n=469）、fMRI（n=278）和DTI（n=620）。跨多个LLM后端的流水线消融研究表明，有能力的模型达到了高达100%的意图解析准确率，最强的后端（Qwen3.5-27B）达到了84.8%的端到端预处理步骤正确率。自动恢复将手动干预限制在需要通过人机交互界面进行人工审查的边缘情况。对于使用自动预处理的多模态数据进行阿尔茨海默病分类，我们的智能体集成实现了0.9518的AUC，优于所有单模态基线。这些结果表明，NeuroAgent可以减少神经影像预处理所需的手动工作，并为神经影像研究实现端到端自动化分析流水线。

🔬 方法详解

问题定义：论文旨在解决神经影像数据分析中预处理流程复杂、耗时且容易出错的问题。现有的神经影像分析流程通常需要专家手动配置和执行多个模态特定的预处理步骤，这不仅效率低下，而且容易引入人为误差，影响研究结果的可重复性。此外，不同研究之间的数据格式和分析方法差异很大，进一步增加了研究的难度。

核心思路：论文的核心思路是利用大型语言模型（LLM）的强大代码生成和理解能力，构建一个智能体框架，自动执行神经影像数据的预处理和分析任务。该框架通过模拟专家的工作流程，将复杂的预处理步骤分解为一系列可执行的任务，并利用LLM生成相应的代码。同时，该框架还具备错误检测和恢复能力，可以自动处理预处理过程中出现的各种问题，从而减少人工干预。

技术框架：NeuroAgent采用分层多智能体架构，包含多个智能体，每个智能体负责特定的任务。整体流程如下：1) 用户通过自然语言描述分析需求。2) 顶层智能体将需求分解为一系列预处理步骤。3) 每个预处理步骤由相应的智能体负责生成可执行代码。4) 执行器执行生成的代码。5) 验证器验证执行结果的完整性和正确性。6) 如果出现错误，错误处理智能体会尝试自动修复。7) 如果无法自动修复，则通过人机交互界面请求人工干预。

关键创新：NeuroAgent的关键创新在于将大型语言模型（LLM）应用于神经影像数据分析领域，实现了预处理流程的自动化。与传统的基于规则或脚本的预处理方法相比，NeuroAgent具有更强的灵活性和适应性，可以处理各种不同的数据格式和分析需求。此外，NeuroAgent还具备错误检测和恢复能力，可以自动处理预处理过程中出现的各种问题，从而减少人工干预。

关键设计：NeuroAgent的关键设计包括：1) 分层多智能体架构，将复杂的预处理任务分解为一系列可管理的子任务。2) 反馈驱动的生成-执行-验证引擎，确保预处理结果的正确性和完整性。3) 人机交互界面，允许专家在必要时进行人工干预。4) 使用Qwen3.5-27B等强大的LLM作为后端，提供强大的代码生成和理解能力。论文没有详细说明损失函数和网络结构等细节，这些可能取决于LLM的选择和训练方式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NeuroAgent在ADNI数据集上进行了评估，结果表明，使用Qwen3.5-27B作为后端时，预处理步骤的正确率达到了84.8%。在阿尔茨海默病分类任务中，NeuroAgent使用自动预处理的多模态数据实现了0.9518的AUC，优于所有单模态基线。这些结果表明，NeuroAgent可以显著提高神经影像数据分析的效率和准确性。

🎯 应用场景

NeuroAgent可应用于神经影像研究的多个领域，例如阿尔茨海默病、精神分裂症等疾病的诊断和治疗。该框架可以减少预处理所需的人工工作，提高研究效率和可重复性，加速神经影像研究的进展。未来，NeuroAgent可以扩展到其他医学影像领域，为临床医生提供更智能化的辅助诊断工具。

📄 摘要（原文）

Multimodal neuroimaging analysis often involves complex, modality-specific preprocessing workflows that require careful configuration, quality control, and coordination across heterogeneous toolchains. Beyond preprocessing, downstream statistical analysis and disease classification commonly require task-specific code, evaluation protocols, and data-format conventions, creating additional barriers between raw acquisitions and reproducible scientific analysis. We present NeuroAgent, an LLM-driven agentic framework that automates key preprocessing and analysis steps for heterogeneous neuroimaging data, including sMRI, fMRI, dMRI, and PET, and supports interactive downstream analysis through natural-language queries. NeuroAgent employs a hierarchical multi-agent architecture with a feedback-driven Generate-Execute-Validate engine: agents autonomously generate executable preprocessing code, detect and recover from runtime errors, and validate output integrity. We evaluate the system on 1,470 subjects pooled across all ADNI phases (CN=1,000, AD=470), where all subjects have sMRI and tabular data, with subsets also having Tau-PET (n=469), fMRI (n=278), and DTI ($n=620$). Pipeline ablation studies across multiple LLM backends show that capable models reach up to 100% intent-parsing accuracy, with the strongest backend (Qwen3.5-27B) reaching 84.8% end-to-end preprocessing step correctness. Automated recovery limits manual intervention to edge cases where human review is required via the Human-In-The-Loop interface. For Alzheimer's Disease classification using automatically preprocessed multimodal data, our agent ensemble achieves an AUC of 0.9518 with four modalities, outperforming all single-modality baselines. These results show that NeuroAgent can reduce the manual effort required for neuroimaging preprocessing and enable end-to-end automated analysis pipelines for neuroimaging research.