Early Prediction of Type 2 Diabetes Using Multimodal data and Tabular Transformers

📄 arXiv: 2601.12981v1 📥 PDF

作者: Sulaiman Khan, Md. Rafiul Biswas, Zubair Shah

分类: cs.CV, cs.LG

发布日期: 2026-01-19

备注: 08 pages, 06 figures, accepted for publication in FLLM2025

💡 一句话要点

提出基于Tabular Transformer的T2DM早期预测模型，利用多模态数据提升预测精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Tabular Transformer 表格数据 多模态数据 2型糖尿病 早期预测 特征解释 纵向数据

📋 核心要点

  1. 传统方法难以捕捉T2DM疾病进展中复杂的长期依赖关系，限制了早期预测的准确性。
  2. 利用Tabular Transformer架构，结合纵向健康记录和骨骼数据，捕捉疾病进展中的长期依赖关系。
  3. 实验表明，TabTrans模型在T2DM预测中表现出优越的性能，ROC AUC达到79.7%，优于传统ML和生成式AI模型。

📝 摘要（中文）

本研究提出了一种新颖的方法，利用tabular transformer (TabTrans) 架构分析纵向患者数据，以实现2型糖尿病 (T2DM) 的早期风险预测。通过处理患者的纵向健康记录和骨骼相关的表格数据，该模型能够捕捉疾病进展中复杂的、长期的依赖关系，而传统方法通常忽略这些关系。我们在卡塔尔生物银行 (QBB) 的一个包含1382名受试者的回顾性队列中验证了我们的TabTrans模型，其中包括725名男性（146名糖尿病患者，579名健康人）和657名女性（133名糖尿病患者，524名健康人）。该研究整合了电子健康记录 (EHR) 与双能X射线吸收仪 (DXA) 数据。为了解决类别不平衡问题，我们采用了SMOTE和SMOTE-ENN重采样技术。所提出的模型的性能与传统的机器学习 (ML) 和生成式AI模型（包括Claude 3.5 Sonnet、GPT-4和Gemini Pro）进行了比较。我们的TabTrans模型表现出卓越的预测性能，T2DM预测的ROC AUC ≥ 79.7%，优于生成式AI模型和传统ML方法。特征解释分析确定了关键风险指标，其中内脏脂肪组织 (VAT) 的质量和体积、ward骨矿物质密度 (BMD) 和骨矿物质含量 (BMC)、T和Z评分以及L1-L4评分成为与卡塔尔成年人糖尿病发展相关的最重要预测指标。这些发现证明了TabTrans在分析复杂表格医疗保健数据方面的巨大潜力，为主动T2DM管理和卡塔尔人群的个性化临床干预提供了一个强大的工具。

🔬 方法详解

问题定义：该论文旨在解决2型糖尿病（T2DM）的早期预测问题。现有方法，特别是传统的机器学习模型，在处理纵向健康记录和多模态数据时，难以捕捉疾病进展中复杂的、长期的依赖关系。这些方法通常无法有效利用患者历史数据中的时间信息，导致预测精度受限。

核心思路：论文的核心思路是利用Tabular Transformer (TabTrans) 架构来分析纵向患者数据，从而捕捉疾病进展中复杂的长期依赖关系。TabTrans模型能够同时处理电子健康记录（EHR）和双能X射线吸收仪（DXA）数据，实现多模态信息的融合。通过Transformer的自注意力机制，模型可以学习到不同时间点和不同特征之间的关联，从而更准确地预测T2DM的风险。

技术框架：整体框架包括数据预处理、模型构建和评估三个主要阶段。首先，对EHR和DXA数据进行清洗和整合，处理缺失值和异常值。然后，构建TabTrans模型，该模型由嵌入层、Transformer编码器层和预测层组成。嵌入层将表格数据转换为连续向量表示，Transformer编码器层学习特征之间的关系，预测层输出T2DM的风险概率。最后，使用ROC AUC等指标评估模型的性能，并进行特征重要性分析。

关键创新：最重要的技术创新点在于将Tabular Transformer架构应用于T2DM的早期预测。与传统的机器学习模型相比，TabTrans能够更好地处理表格数据中的复杂关系，并有效利用纵向数据中的时间信息。此外，该研究还整合了EHR和DXA数据，实现了多模态信息的融合，进一步提升了预测精度。

关键设计：在模型设计方面，采用了标准的Transformer编码器结构，并针对表格数据的特点进行了优化。例如，使用了嵌入层将离散特征转换为连续向量表示。在训练过程中，采用了SMOTE和SMOTE-ENN等重采样技术来解决类别不平衡问题。损失函数使用了二元交叉熵损失函数，优化器使用了Adam优化器。具体的参数设置（如Transformer层数、注意力头数、学习率等）通过实验进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TabTrans模型在卡塔尔生物银行（QBB）数据集上取得了显著的性能提升，T2DM预测的ROC AUC达到79.7%，优于传统的机器学习模型和生成式AI模型（如Claude 3.5 Sonnet、GPT-4和Gemini Pro）。特征重要性分析表明，内脏脂肪组织（VAT）的质量和体积、ward骨矿物质密度（BMD）和骨矿物质含量（BMC）等指标是T2DM的重要预测因子。

🎯 应用场景

该研究成果可应用于临床决策支持系统，帮助医生进行T2DM的早期风险评估和个性化干预。通过分析患者的纵向健康记录和骨骼数据，可以识别高风险人群，并制定相应的预防措施，从而降低T2DM的发病率。此外，该模型还可以用于药物研发和临床试验，帮助研究人员更好地理解T2DM的病理机制和治疗策略。

📄 摘要（原文）

This study introduces a novel approach for early Type 2 Diabetes Mellitus (T2DM) risk prediction using a tabular transformer (TabTrans) architecture to analyze longitudinal patient data. By processing patientslongitudinal health records and bone-related tabular data, our model captures complex, long-range dependencies in disease progression that conventional methods often overlook. We validated our TabTrans model on a retrospective Qatar BioBank (QBB) cohort of 1,382 subjects, comprising 725 men (146 diabetic, 579 healthy) and 657 women (133 diabetic, 524 healthy). The study integrated electronic health records (EHR) with dual-energy X-ray absorptiometry (DXA) data. To address class imbalance, we employed SMOTE and SMOTE-ENN resampling techniques. The proposed models performance is evaluated against conventional machine learning (ML) and generative AI models, including Claude 3.5 Sonnet (Anthropics constitutional AI), GPT-4 (OpenAIs generative pre-trained transformer), and Gemini Pro (Google`s multimodal language model). Our TabTrans model demonstrated superior predictive performance, achieving ROC AUC $\geq$ 79.7 % for T2DM prediction compared to both generative AI models and conventional ML approaches. Feature interpretation analysis identified key risk indicators, with visceral adipose tissue (VAT) mass and volume, ward bone mineral density (BMD) and bone mineral content (BMC), T and Z-scores, and L1-L4 scores emerging as the most important predictors associated with diabetes development in Qatari adults. These findings demonstrate the significant potential of TabTrans for analyzing complex tabular healthcare data, providing a powerful tool for proactive T2DM management and personalized clinical interventions in the Qatari population. Index Terms: tabular transformers, multimodal data, DXA data, diabetes, T2DM, feature interpretation, tabular data