A Multimodal Deep Learning Approach for White Matter Shape Prediction in Diffusion MRI Tractography

📄 arXiv: 2504.18400v4 📥 PDF

作者: Yui Lo, Yuqian Chen, Dongnan Liu, Leo Zekelman, Jarrett Rushmore, Yogesh Rathi, Nikos Makris, Alexandra J. Golby, Fan Zhang, Weidong Cai, Lauren J. O'Donnell

分类: eess.IV, cs.AI, cs.CV

发布日期: 2025-04-25 (更新: 2025-10-21)

备注: Paper accepted to Human Brain Mapping. 25 pages, 3 figures, 8 tables

DOI: 10.1002/hbm.70396

💡 一句话要点

Tract2Shape：利用多模态深度学习快速预测白质纤维束形态特征，提升脑部研究效率。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 白质纤维束 形态预测 多模态学习 深度学习 弥散磁共振 点云处理 脑部研究

📋 核心要点

  1. 传统白质纤维束形态分析计算成本高，难以应用于大规模数据集，限制了对脑部结构变异性和临床表型的深入研究。
  2. Tract2Shape利用多模态深度学习，融合纤维束的几何（点云）和标量特征，高效预测多种形态特征，降低计算复杂度。
  3. 实验表明，Tract2Shape在预测精度和泛化能力上均优于现有方法，为大规模白质形态分析提供了新的解决方案。

📝 摘要（中文）

本研究提出了一种名为Tract2Shape的新型多模态深度学习框架，用于预测弥散磁共振纤维束成像中的白质纤维束形态特征。传统方法依赖于基于体素的表示，计算成本高昂且耗时，不适用于大规模数据集。Tract2Shape利用几何（点云）和标量（表格）特征来预测十种白质纤维束形态特征。为了提高模型效率，采用降维算法预测五个主要形态成分。该模型在两个独立采集的数据集（HCP-YA和PPMI）上进行训练和评估。实验结果表明，Tract2Shape在所有十种形态特征上均优于最先进的深度学习模型，在HCP-YA数据集上实现了最高的平均Pearson相关系数和最低的归一化均方误差。消融研究表明，多模态输入和主成分分析均有助于性能提升。在未见过的PPMI数据集上，Tract2Shape保持了较高的Pearson相关系数和较低的归一化均方误差，展示了强大的跨数据集泛化能力。Tract2Shape能够快速、准确且可泛化地预测纤维束形态特征，支持跨数据集的可扩展分析，为未来大规模白质形态分析奠定了基础。

🔬 方法详解

问题定义：论文旨在解决传统白质纤维束形态分析方法计算复杂度高、耗时的问题，这些方法依赖于体素表示，难以应用于大规模数据集。现有方法的痛点在于计算效率低，限制了对脑部结构变异性和临床表型的深入研究。

核心思路：论文的核心思路是利用多模态深度学习，融合纤维束的几何（点云）和标量特征，直接预测形态特征。通过结合不同类型的数据，模型能够更全面地理解纤维束的结构，从而提高预测精度和效率。此外，采用降维技术进一步提升模型效率。

技术框架：Tract2Shape框架包含数据预处理、特征提取、模型训练和评估等主要阶段。首先，对纤维束数据进行预处理，提取点云和标量特征。然后，将这些特征输入到深度学习模型中进行训练。模型输出预测的形态特征，并与真实值进行比较，计算损失函数。最后，使用独立数据集评估模型的性能。

关键创新：最重要的技术创新点在于多模态融合和降维策略。与现有方法相比，Tract2Shape不仅考虑了纤维束的几何形状，还融合了标量特征，从而更全面地描述了纤维束的结构。此外，通过降维，模型能够更高效地学习和预测形态特征。

关键设计：模型采用PointNet++处理点云数据，并结合全连接网络处理标量数据。损失函数采用均方误差（MSE）或归一化均方误差（nMSE）。为了提高模型效率，采用主成分分析（PCA）对形态特征进行降维，只预测前五个主成分。

📊 实验亮点

Tract2Shape在HCP-YA数据集上优于现有SOTA模型，在所有十个形态特征上均取得了最佳性能，平均Pearson相关系数最高，归一化均方误差最低。消融实验表明，多模态输入和PCA均对性能提升有贡献。在未见过的PPMI数据集上，Tract2Shape依然保持了较高的Pearson相关系数和较低的归一化均方误差，证明了其强大的泛化能力。

🎯 应用场景

Tract2Shape可应用于大规模脑部疾病研究，例如阿尔茨海默病、帕金森病等，通过快速准确地分析白质纤维束形态，辅助疾病诊断和预后评估。该方法还可用于研究认知功能与脑部结构之间的关系，为理解人类大脑提供新的视角。未来，Tract2Shape有望成为神经影像学研究的重要工具。

📄 摘要（原文）

Shape measures have emerged as promising descriptors of white matter tractography, offering complementary insights into anatomical variability and associations with cognitive and clinical phenotypes. However, conventional methods for computing shape measures are computationally expensive and time-consuming for large-scale datasets due to reliance on voxel-based representations. We propose Tract2Shape, a novel multimodal deep learning framework that leverages geometric (point cloud) and scalar (tabular) features to predict ten white matter tractography shape measures. To enhance model efficiency, we utilize a dimensionality reduction algorithm for the model to predict five primary shape components. The model is trained and evaluated on two independently acquired datasets, the HCP-YA dataset, and the PPMI dataset. We evaluate the performance of Tract2Shape by training and testing it on the HCP-YA dataset and comparing the results with state-of-the-art models. To further assess its robustness and generalization ability, we also test Tract2Shape on the unseen PPMI dataset. Tract2Shape outperforms SOTA deep learning models across all ten shape measures, achieving the highest average Pearson's r and the lowest nMSE on the HCP-YA dataset. The ablation study shows that both multimodal input and PCA contribute to performance gains. On the unseen testing PPMI dataset, Tract2Shape maintains a high Pearson's r and low nMSE, demonstrating strong generalizability in cross-dataset evaluation. Tract2Shape enables fast, accurate, and generalizable prediction of white matter shape measures from tractography data, supporting scalable analysis across datasets. This framework lays a promising foundation for future large-scale white matter shape analysis.