HypTI: Hyperbolic Geometry-Aware Multimodal Feature Fusion Framework for Dementia Detection Based on Tabular-Image Data

📄 arXiv: 2610.27941v1 📥 PDF

作者: Jianfei Xu, Huizhi Liang, Judith Harrison, John-Paul Taylor, Jaume Bacardit, Varun Ojha

分类: cs.AI

发布日期: 2026-10-20

💡 一句话要点

提出HypTI框架以解决多模态数据融合在痴呆检测中的问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 超曲率几何 多模态融合 痴呆检测 临床评估 MRI影像 表示学习 自适应融合

📋 核心要点

  1. 现有的痴呆检测方法多在欧几里得空间中进行特征融合，未能充分利用数据的几何结构。
  2. 本文提出HypTI框架，通过超曲率几何感知实现临床表格数据与MRI扫描的有效融合。
  3. 在OASIS-3数据集上的实验表明，HypTI框架相比于其他方法具有显著的性能提升。

📝 摘要（中文）

AI辅助的痴呆检测通常需要融合临床表格评估和神经影像数据等多种数据。然而，大多数现有方法在欧几里得空间中进行特征融合，忽视了表示的几何结构。研究表明，超曲率空间为建模层次和多尺度结构提供了自然的几何基础。为此，本文提出HypTI，一个基于临床表格评估和MRI扫描的超曲率几何感知多模态融合框架。HypTI将超曲率表示学习扩展到未充分探索的表格-MRI设置，联合建模临床表格、MRI扫描和跨模态交互。实验结果表明，该框架在OASIS-3数据集上表现优异。

🔬 方法详解

问题定义：本文旨在解决现有痴呆检测方法在多模态数据融合中忽视几何结构的问题，尤其是在临床表格数据和MRI影像数据的结合上。

核心思路：HypTI框架通过引入超曲率几何，利用其在建模层次和多尺度结构方面的优势，来实现临床表格数据与MRI影像的有效融合。

技术框架：该框架包括三个主要模块：1) 临床表格变量通过可学习的Lorentz原型表示，以捕捉评估之间的层次关系；2) MRI扫描使用ROI引导的多尺度表示学习，以捕捉大脑区域和空间尺度的解剖模式；3) 自适应融合模块生成特定于个体的缩放和偏移系数，以动态调节和整合多模态嵌入。

关键创新：HypTI的核心创新在于将超曲率表示学习扩展到表格-MRI设置，能够有效建模临床评估的层次结构和MRI影像的多尺度特征，这与现有方法在欧几里得空间中的处理方式有本质区别。

关键设计：在设计中，采用了可学习的Lorentz原型来表示临床变量，损失函数则结合了多模态嵌入的相似性和差异性，网络结构则通过自适应模块实现动态融合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在OASIS-3数据集上的实验结果显示，HypTI框架在痴呆检测任务中表现出色，相较于其他代表性方法，性能提升显著，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括医疗影像分析和临床决策支持，能够为痴呆症的早期检测和诊断提供更为精准的工具。未来，HypTI框架有望推广至其他多模态数据融合的医疗应用中，提升整体医疗服务质量。

📄 摘要（原文）

AI-assisted dementia detection usually requires multimodal fusion of diverse data, such as clinical tabular assessments and neuroimaging data. However, most existing approaches perform feature fusion in Euclidean space. This overlooks the geometric structure of representation, including hierarchical organization in clinical assessments and multi-scale anatomical patterns in neuroimaging data. Recent studies have proved hyperbolic space provides a natural geometry for modelling hierarchical and multi-scale structures due to its exponentially expanding space. Motivated by these, we propose HypTI, a hyperbolic geometry-aware multimodal fusion framework for dementia detection based on clinical tabular assessments and MRI scans. HypTI extends hyperbolic representation learning to an underexplored tabular-MRI setting, jointly modelling clinical tabular, MRI scans, and cross-modal interactions in hyperbolic space. Specifically, clinical tabular variables are represented through learnable Lorentz prototypes to capture hierarchical relationships among assessments, while MRI scans are encoded using ROI-guided multi-scale representation learning to capture anatomical patterns across brain regions and spatial scales in Lorentz space. The multimodal representations are integrated through an adaptive fusion module generates subject-specific scale and shift coefficients to dynamically modulate and integrate the multimodal embeddings, enabling effective patient-level tabular-image representation learning for dementia detection. Experiments on OASIS-3 dataset show that the proposed framework achieves strong performance compared with representative approaches.