AttenGluco: Multimodal Transformer-Based Blood Glucose Forecasting on AI-READI Dataset

📄 arXiv: 2502.09919v1 📥 PDF

作者: Ebrahim Farahmand, Reza Rahimi Azghan, Nooshin Taheri Chatrudi, Eric Kim, Gautham Krishna Gudur, Edison Thomaz, Giulia Pedrielli, Pavan Turaga, Hassan Ghasemzadeh

分类: cs.LG, cs.AI

发布日期: 2025-02-14

💡 一句话要点

AttenGluco：基于多模态Transformer的血糖预测框架，有效融合CGM和活动数据。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 血糖预测 多模态Transformer 交叉注意力 多尺度注意力 时间序列预测 糖尿病管理

📋 核心要点

  1. 准确预测血糖水平面临挑战，现有方法难以有效处理多模态、非均匀采样数据，尤其是在长程预测中。
  2. AttenGluco利用Transformer架构，通过交叉注意力和多尺度注意力，有效融合CGM和活动数据，捕捉长期依赖关系。
  3. 在AIREADI数据集上的实验表明，AttenGluco在RMSE和MAE指标上分别优于多模态LSTM基线模型约10%和15%。

📝 摘要（中文）

糖尿病是一种慢性代谢紊乱，其特征是血糖水平持续偏高，会导致心血管疾病、神经病变和视网膜病变等严重并发症。预测血糖水平使患者能够将血糖维持在安全范围内，并允许护理人员通过改变生活方式采取积极措施。持续血糖监测（CGM）系统提供实时跟踪，为监测血糖水平提供了一种有价值的工具。然而，由于身体活动、饮食和其他因素引起的波动，准确预测血糖水平仍然具有挑战性。最近的深度学习模型在改善血糖预测方面显示出希望。尽管如此，在长预测范围内，从多模态、不规则采样数据中准确预测血糖水平仍然是一个具有挑战性的研究问题。在本文中，我们提出了AttenGluco，一个基于多模态Transformer的长期血糖预测框架。AttenGluco采用交叉注意力来有效地整合CGM和活动数据，从而解决融合具有不同采样率的数据的挑战。此外，它采用多尺度注意力来捕获时间数据中的长期依赖关系，从而提高预测准确性。为了评估AttenGluco的性能，我们对最近发布的AIREADI数据集进行了预测实验，分析了其在不同受试者队列（包括健康个体、糖尿病前期患者和2型糖尿病患者）中的预测准确性。此外，我们还研究了随着新队列的引入，其性能改进和遗忘行为。我们的评估表明，与多模态LSTM模型相比，AttenGluco改进了所有误差指标，例如均方根误差（RMSE）、平均绝对误差（MAE）和相关性。在RMSE和MAE方面，AttenGluco的性能分别优于该基线模型约10%和15%。

🔬 方法详解

问题定义：论文旨在解决长期血糖预测问题，现有方法难以有效融合来自不同传感器（如CGM和活动监测器）的多模态数据，并且难以捕捉时间序列中的长期依赖关系。此外，数据采样频率不一致也增加了建模难度。

核心思路：论文的核心思路是利用Transformer架构的强大建模能力，通过交叉注意力机制融合多模态数据，并使用多尺度注意力机制捕捉时间序列中的长期依赖关系。Transformer的自注意力机制能够有效捕捉序列中的全局信息，使其非常适合处理长期依赖问题。

技术框架：AttenGluco框架主要包含以下几个模块：1) 数据预处理：对CGM和活动数据进行清洗和标准化。2) 特征提取：使用嵌入层将输入数据转换为高维特征向量。3) 交叉注意力模块：利用交叉注意力机制融合CGM和活动数据，学习它们之间的关联性。4) 多尺度注意力模块：使用不同尺度的注意力机制捕捉时间序列中的长期依赖关系。5) 预测模块：使用全连接层将注意力模块的输出映射到血糖预测值。

关键创新：AttenGluco的关键创新在于：1) 提出了一种基于Transformer的多模态血糖预测框架，能够有效融合CGM和活动数据。2) 引入了交叉注意力机制，解决了不同采样率数据融合的问题。3) 采用了多尺度注意力机制，能够捕捉时间序列中的长期依赖关系，提高预测准确性。

关键设计：AttenGluco的关键设计包括：1) 交叉注意力模块的query、key和value分别来自CGM和活动数据，从而学习它们之间的关联性。2) 多尺度注意力模块使用不同大小的滑动窗口，捕捉不同时间尺度的依赖关系。3) 损失函数采用均方误差（MSE），优化模型参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AttenGluco在AIREADI数据集上进行了评估，实验结果表明，与多模态LSTM基线模型相比，AttenGluco在RMSE和MAE指标上分别取得了约10%和15%的性能提升。这表明AttenGluco能够更准确地预测血糖水平，具有显著的优势。

🎯 应用场景

AttenGluco具有广泛的应用前景，可用于糖尿病患者的个性化血糖管理、智能健康监测和远程医疗等领域。通过准确预测血糖水平，可以帮助患者更好地控制血糖，预防并发症的发生，提高生活质量。此外，该模型还可以为医疗保健提供者提供决策支持，优化治疗方案。

📄 摘要（原文）

Diabetes is a chronic metabolic disorder characterized by persistently high blood glucose levels (BGLs), leading to severe complications such as cardiovascular disease, neuropathy, and retinopathy. Predicting BGLs enables patients to maintain glucose levels within a safe range and allows caregivers to take proactive measures through lifestyle modifications. Continuous Glucose Monitoring (CGM) systems provide real-time tracking, offering a valuable tool for monitoring BGLs. However, accurately forecasting BGLs remains challenging due to fluctuations due to physical activity, diet, and other factors. Recent deep learning models show promise in improving BGL prediction. Nonetheless, forecasting BGLs accurately from multimodal, irregularly sampled data over long prediction horizons remains a challenging research problem. In this paper, we propose AttenGluco, a multimodal Transformer-based framework for long-term blood glucose prediction. AttenGluco employs cross-attention to effectively integrate CGM and activity data, addressing challenges in fusing data with different sampling rates. Moreover, it employs multi-scale attention to capture long-term dependencies in temporal data, enhancing forecasting accuracy. To evaluate the performance of AttenGluco, we conduct forecasting experiments on the recently released AIREADI dataset, analyzing its predictive accuracy across different subject cohorts including healthy individuals, people with prediabetes, and those with type 2 diabetes. Furthermore, we investigate its performance improvements and forgetting behavior as new cohorts are introduced. Our evaluations show that AttenGluco improves all error metrics, such as root mean square error (RMSE), mean absolute error (MAE), and correlation, compared to the multimodal LSTM model. AttenGluco outperforms this baseline model by about 10% and 15% in terms of RMSE and MAE, respectively.