Personalised Insulin Adjustment with Reinforcement Learning: An In-Silico Validation for People with Diabetes on Intensive Insulin Treatment

📄 arXiv: 2505.14477v1 📥 PDF

作者: Maria Panagiotou, Lorenzo Brigato, Vivien Streit, Amanda Hayoz, Stephan Proennecke, Stavros Athanasopoulos, Mikkel T. Olsen, Elizabeth J. den Brok, Cecilie H. Svensson, Konstantinos Makrilakis, Maria Xatzipsalti, Andriani Vazeou, Peter R. Mertens, Ulrik Pedersen-Bjergaard, Bastiaan E. de Galan, Stavroula Mougiakakou

分类: cs.LG

发布日期: 2025-05-20

DOI: 10.1109/ACCESS.2025.3600738

💡 一句话要点

提出基于强化学习的个性化胰岛素调整方案ABBA，优化糖尿病患者血糖控制。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 糖尿病管理 胰岛素调整 个性化治疗 血糖控制

📋 核心要点

  1. 传统胰岛素调整方法难以满足个体化需求，导致血糖控制不佳，影响糖尿病患者生活质量。
  2. ABBA利用强化学习为每位患者提供个性化的胰岛素治疗方案，动态调整基础和餐前胰岛素剂量。
  3. 计算机模拟实验表明，ABBA显著提高了血糖达标时间，优于标准方法，并具有持续优化潜力。

📝 摘要（中文）

本研究提出了一种基于强化学习的个性化胰岛素治疗推荐方法，名为自适应基础-餐前胰岛素顾问(ABBA)，适用于进行自我血糖监测和多次每日胰岛素注射治疗的1型和2型糖尿病患者。研究评估了ABBA与标准基础-餐前胰岛素顾问(BBA)相比，在改善1型和2型糖尿病患者血糖达标时间(TIR)方面的能力。通过FDA认可的包含101名1型糖尿病和101名2型糖尿病模拟成人的群体进行了计算机模拟测试。结果表明，与BBA相比，ABBA显著提高了TIR，并显著减少了血糖过高和过低的时间。ABBA的性能在两个月内持续提高，而BBA仅表现出轻微变化。这种个性化的胰岛素调整方法有潜力进一步优化血糖控制，并支持1型和2型糖尿病患者的日常自我管理。研究结果支持ABBA首次在人体中进行试验。

🔬 方法详解

问题定义：本研究旨在解决1型和2型糖尿病患者在进行多次每日胰岛素注射治疗时，难以根据自身情况进行胰岛素剂量调整的问题。现有方法，如标准基础-餐前胰岛素顾问(BBA)，无法充分考虑个体差异和动态血糖变化，导致血糖控制效果不佳，患者血糖达标时间(TIR)较低。

核心思路：ABBA的核心思路是利用强化学习算法，将胰岛素剂量调整问题建模为一个马尔可夫决策过程(MDP)。通过与模拟环境（糖尿病患者的血糖模型）进行交互，ABBA学习到最优的胰岛素剂量调整策略，从而最大化患者的血糖达标时间。这种方法能够根据患者的个体特征和历史血糖数据，提供个性化的胰岛素治疗方案。

技术框架：ABBA的技术框架主要包括以下几个模块：1) 状态表示：将患者的血糖水平、胰岛素剂量、饮食信息等作为状态输入；2) 动作空间：定义可调整的胰岛素剂量范围；3) 奖励函数：根据血糖达标时间、血糖过高和过低的时间等指标，设计奖励函数，引导ABBA学习最优策略；4) 强化学习算法：使用Q-learning或深度Q网络(DQN)等算法，学习状态-动作值函数，从而得到最优策略。

关键创新：ABBA的关键创新在于将强化学习应用于个性化胰岛素剂量调整。与传统方法相比，ABBA能够自动学习患者的个体特征和血糖变化规律，并根据这些信息动态调整胰岛素剂量，从而实现更精准的血糖控制。此外，ABBA还具有持续学习和优化的能力，能够随着时间的推移不断提高性能。

关键设计：ABBA的关键设计包括：1) 状态表示：选择合适的血糖、胰岛素、饮食等特征，以充分描述患者的血糖状态；2) 奖励函数：平衡血糖达标时间、血糖过高和过低的时间等指标，避免过度优化某一指标而牺牲其他指标；3) 强化学习算法：选择合适的算法，如DQN，以处理高维状态空间和动作空间；4) 探索-利用策略：采用合适的探索-利用策略，如ε-greedy策略，以平衡探索新策略和利用已知策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在包含101名1型糖尿病和101名2型糖尿病模拟成人的FDA认可的群体中进行的计算机模拟实验表明，与标准BBA相比，ABBA显著提高了血糖达标时间(TIR)，并显著减少了血糖过高和过低的时间。ABBA的性能在两个月内持续提高，而BBA仅表现出轻微变化。具体数据未知，但结果表明ABBA具有显著优势。

🎯 应用场景

ABBA可应用于糖尿病管理App、智能胰岛素笔等设备，为患者提供个性化的胰岛素剂量建议，辅助医生制定治疗方案。该研究有望提高糖尿病患者的血糖控制水平，减少并发症风险，改善生活质量。未来，ABBA可进一步扩展到其他慢性疾病管理领域，如高血压、高血脂等。

📄 摘要（原文）

Despite recent advances in insulin preparations and technology, adjusting insulin remains an ongoing challenge for the majority of people with type 1 diabetes (T1D) and longstanding type 2 diabetes (T2D). In this study, we propose the Adaptive Basal-Bolus Advisor (ABBA), a personalised insulin treatment recommendation approach based on reinforcement learning for individuals with T1D and T2D, performing self-monitoring blood glucose measurements and multiple daily insulin injection therapy. We developed and evaluated the ability of ABBA to achieve better time-in-range (TIR) for individuals with T1D and T2D, compared to a standard basal-bolus advisor (BBA). The in-silico test was performed using an FDA-accepted population, including 101 simulated adults with T1D and 101 with T2D. An in-silico evaluation shows that ABBA significantly improved TIR and significantly reduced both times below- and above-range, compared to BBA. ABBA's performance continued to improve over two months, whereas BBA exhibited only modest changes. This personalised method for adjusting insulin has the potential to further optimise glycaemic control and support people with T1D and T2D in their daily self-management. Our results warrant ABBA to be trialed for the first time in humans.