Structural-Functional Brain Connectivity Generation via Multimodal Hypergraph-based Flow Matching

📄 arXiv: 2610.02722v1 📥 PDF

作者: Chyong Yi Poh, Hwa Hui Tew, Junn Yong Loo, Raphaël C. -W. Phan, Fuad Noman, Pew-Thian Yap, Chee-Ming Ting

分类: cs.LG

发布日期: 2026-10-02

备注: 10 pages, 3 figures, 5 tables

💡 一句话要点

提出多模态超图流匹配框架以解决脑连接生成问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱五：交互与反应 (Interaction & Reaction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 超图神经网络 脑连接生成 功能连接 结构连接 生成建模 神经影像学 跨模态翻译

📋 核心要点

  1. 现有方法通常使用成对图，仅能捕捉二元交互，限制了高阶结构-功能关系的保留。
  2. 本文提出MHG-FM框架，通过构建超图和双向交叉注意力实现SC和FC的联合生成与转换。
  3. 实验表明，MHG-FM在重建质量和采样速度上显著优于现有方法，提升幅度达到8倍。

📝 摘要（中文）

结构连接（SC）和功能连接（FC）提供了关于脑区间相互作用的互补信息，广泛应用于神经影像学研究。现有生成建模方法通常依赖于成对图，仅捕捉二元交互，且独立生成SC和FC，限制了高阶结构-功能关系的保留。本文提出了一种多模态超图流匹配（MHG-FM）框架，实现SC和FC的联合生成及跨模态转换。MHG-FM构建特定模态的超图，利用超图神经网络（HGNN）编码器学习高阶表示，并通过双向交叉注意力（DCA）进行跨模态融合。变分自编码器将融合表示映射到紧凑的潜在空间，通过条件流匹配实现连接合成和多模态翻译。实验结果表明，MHG-FM在重建质量、拓扑保留、分布相似性和SC-FC耦合方面优于多种最先进的基线，同时采样速度约为匹配扩散基线的8倍。

🔬 方法详解

问题定义：本文旨在解决现有生成建模方法在结构连接（SC）和功能连接（FC）生成中的不足，特别是如何有效捕捉高阶结构-功能关系。现有方法多依赖成对图，无法充分利用多模态数据的潜力。

核心思路：MHG-FM框架通过构建模态特定的超图，利用超图神经网络（HGNN）学习高阶表示，进而实现SC和FC的联合生成与跨模态翻译。该设计旨在保留更复杂的连接模式，提升生成质量。

技术框架：MHG-FM的整体架构包括三个主要模块：首先，构建模态特定的超图；其次，使用HGNN编码器学习高阶表示；最后，通过双向交叉注意力（DCA）实现跨模态融合，并利用变分自编码器进行潜在空间映射。

关键创新：MHG-FM的核心创新在于引入超图结构和双向交叉注意力机制，使得模型能够有效捕捉高阶连接关系，并实现SC和FC的联合生成，这与传统方法的独立生成方式形成鲜明对比。

关键设计：在模型设计中，采用了特定的损失函数以优化生成质量，并通过条件流匹配实现连接合成。此外，HGNN的网络结构经过精心设计，以确保能够有效学习高阶表示。实验中还优化了超图的构建方式，以提高模型的整体性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MHG-FM在重建质量、拓扑保留和分布相似性方面均优于多种最先进的基线，且在SC-FC耦合上表现出显著提升。特别是在采样速度上，MHG-FM实现了约8倍的加速，展现出其在实际应用中的高效性。

🎯 应用场景

该研究的潜在应用领域包括神经科学、心理健康和个性化医疗等。通过更准确地生成和分析脑连接数据，MHG-FM可以帮助研究人员更好地理解神经精神疾病的机制，并推动相关治疗方法的发展。未来，该框架还可能扩展到其他多模态数据生成和分析任务中，具有广泛的实际价值。

📄 摘要（原文）

Structural connectivity (SC) and functional connectivity (FC) provide complementary information on interactions between brain regions and are widely used in neuroimaging studies of neuropsychiatric disorders. Generative modelling can alleviate the scarcity of large-scale paired SC-FC data, but existing approaches typically use pairwise graphs that capture only dyadic interactions and often generate SC and FC independently, limiting preservation of higher-order structure-function relationships. We propose a Multimodal Hypergraph Flow Matching (MHG-FM) framework for joint SC-FC connectivity generation and cross-modal translation. MHG-FM constructs modality-specific hypergraphs, learns higher-order representations with Hypergraph Neural Network (HGNN) encoders, and performs bidirectional cross-modal fusion using Dual Cross-Attention (DCA). A variational autoencoder maps the fused representations to a compact latent space, where conditional flow matching enables connectivity synthesis and multimodal translation via latent transport. Experiments on the Human Connectome Project Young Adult (HCP-YA) dataset show that MHG-FM outperforms several state-of-the-art baselines in reconstruction quality, topology preservation, distributional similarity, and SC-FC coupling, while achieving approximately 8x faster sampling than a matched diffusion backbone.