Reinforcement Learning in Dynamic Treatment Regimes Needs Critical Reexamination

📄 arXiv: 2405.18556v2 📥 PDF

作者: Zhiyao Luo, Yangchen Pan, Peter Watkinson, Tingting Zhu

分类: cs.LG, cs.AI

发布日期: 2024-05-28 (更新: 2024-06-03)

备注: Accepted at ICML 2024. 9 pages for main content, 34 pages in total

🔗 代码/项目: GITHUB

💡 一句话要点

重新评估动态治疗方案中离线强化学习的应用有效性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动态治疗方案 离线强化学习 策略评估 马尔可夫决策过程 医疗决策支持 奖励设计

📋 核心要点

  1. 现有动态治疗方案中离线强化学习的评估指标不一致，缺乏可靠的基准对比，导致算法性能评估存在偏差。
  2. 通过大规模实验，分析评估指标和MDP公式对RL算法性能的影响，揭示现有评估方法的局限性。
  3. 实验表明，在特定情况下，简单的随机策略甚至可以超越复杂的RL算法，强调了策略评估和奖励设计的重要性。

📝 摘要（中文）

在快速变化的医疗环境中，离线强化学习(RL)在动态治疗方案(DTRs)中的应用带来了前所未有的机遇和挑战。本文对DTRs背景下离线RL的现状进行了批判性考察。我们认为有必要重新评估RL在DTRs中的应用，理由包括不一致且可能不确定的评估指标、缺乏朴素和监督学习基线，以及现有研究中RL公式的多样选择。通过使用公开的脓毒症数据集进行的超过17000次评估实验的案例研究，我们证明了RL算法的性能会随着评估指标和马尔可夫决策过程(MDP)公式的变化而显著变化。令人惊讶的是，在某些情况下，RL算法可能会被经过策略评估方法和奖励设计的随机基线超越。这要求在未来的DTR工作中更加仔细地进行策略评估和算法开发。此外，我们讨论了为更可靠地开发基于RL的动态治疗方案而进行的潜在改进，并邀请社区内进一步讨论。代码可在https://github.com/GilesLuo/ReassessDTR获取。

🔬 方法详解

问题定义：论文旨在解决动态治疗方案（DTRs）中离线强化学习（RL）算法评估不充分的问题。现有方法存在评估指标不一致、缺乏有效的基线对比（如朴素方法和监督学习方法），以及对RL算法的不同公式选择等问题，导致对RL算法在DTRs中的实际效果产生误判。这些问题阻碍了RL在医疗领域的可靠应用。

核心思路：论文的核心思路是通过大规模实验，系统性地分析不同评估指标和马尔可夫决策过程（MDP）公式对RL算法性能的影响。通过对比RL算法与随机策略等简单基线，揭示现有评估方法的局限性，并强调策略评估和奖励设计在DTRs中的重要性。

技术框架：论文采用案例研究的方法，使用公开的脓毒症数据集进行超过17000次评估实验。实验流程包括：1) 选择不同的RL算法；2) 采用不同的评估指标（如累积奖励、生存率等）；3) 使用不同的MDP公式（如状态表示、动作空间等）；4) 与随机策略等基线进行对比。通过分析实验结果，评估不同因素对RL算法性能的影响。

关键创新：论文的关键创新在于对DTRs中离线RL算法的评估方法进行了批判性反思。通过实验证明，现有评估方法可能存在偏差，导致对RL算法的性能产生误判。论文强调了策略评估和奖励设计的重要性，并提出了改进DTRs中RL算法开发的潜在方向。

关键设计：论文的关键设计包括：1) 选择具有代表性的RL算法，如DQN、DDPG等；2) 采用多种评估指标，以全面评估算法性能；3) 使用不同的MDP公式，以模拟不同的临床场景；4) 设计合理的奖励函数，以引导RL算法学习有效的治疗策略；5) 与随机策略等简单基线进行对比，以评估RL算法的实际提升效果。

📊 实验亮点

实验结果表明，RL算法的性能受评估指标和MDP公式的影响显著。在某些情况下，随机策略在特定评估指标下甚至可以超越复杂的RL算法。例如，在某些生存率相关的评估指标下，经过精心设计的随机策略表现优于部分RL算法，这突显了现有评估方法的局限性以及策略评估和奖励设计的重要性。

🎯 应用场景

该研究成果可应用于医疗决策支持系统，辅助医生制定个性化的动态治疗方案。通过更可靠的离线强化学习评估方法，可以筛选出更有效的治疗策略，提高患者的治疗效果和生存率。未来，该研究可推广到其他需要动态决策的领域，如金融、交通等。

📄 摘要（原文）

In the rapidly changing healthcare landscape, the implementation of offline reinforcement learning (RL) in dynamic treatment regimes (DTRs) presents a mix of unprecedented opportunities and challenges. This position paper offers a critical examination of the current status of offline RL in the context of DTRs. We argue for a reassessment of applying RL in DTRs, citing concerns such as inconsistent and potentially inconclusive evaluation metrics, the absence of naive and supervised learning baselines, and the diverse choice of RL formulation in existing research. Through a case study with more than 17,000 evaluation experiments using a publicly available Sepsis dataset, we demonstrate that the performance of RL algorithms can significantly vary with changes in evaluation metrics and Markov Decision Process (MDP) formulations. Surprisingly, it is observed that in some instances, RL algorithms can be surpassed by random baselines subjected to policy evaluation methods and reward design. This calls for more careful policy evaluation and algorithm development in future DTR works. Additionally, we discussed potential enhancements toward more reliable development of RL-based dynamic treatment regimes and invited further discussion within the community. Code is available at https://github.com/GilesLuo/ReassessDTR.