Personalizing Exposure Therapy via Reinforcement Learning

📄 arXiv: 2504.14095v1 📥 PDF

作者: Athar Mahmoudi-Nejad, Matthew Guzdial, Pierre Boulanger

分类: cs.LG

发布日期: 2025-04-18

备注: AAAI 2025 Bridge (Collaborative AI and Modelling of Humans Bridge Program)

💡 一句话要点

提出基于强化学习的暴露疗法个性化方法，用于虚拟现实环境下的蜘蛛恐惧症治疗。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 虚拟现实 暴露疗法 个性化治疗 程序化内容生成

📋 核心要点

  1. 现有虚拟现实暴露疗法依赖治疗师经验或预定义规则，难以泛化到所有患者，限制了个性化治疗效果。
  2. 论文提出基于强化学习的经验驱动程序化内容生成方法，根据患者生理指标动态生成虚拟蜘蛛。
  3. 实验结果表明，该系统显著优于基于规则的方法，验证了其在个性化治疗干预中的潜力。

📝 摘要（中文）

个性化治疗能够提升患者的健康状况。通常，这依赖于治疗师的训练、直觉以及患者的反馈。然而，这要求治疗师成为技术组件方面的专家，例如虚拟现实暴露疗法（VRET）。虽然已经存在自动调整治疗内容的方法，但它们通常依赖于人工编写的、预定义的规则，这些规则可能不适用于所有人。本文提出了一种基于生理指标自动调整治疗内容的方法。我们在虚拟现实蜘蛛恐惧症暴露疗法的背景下实施了该方法，并依赖于基于经验驱动的程序化内容生成（EDPCGRL）来生成与个体患者相匹配的虚拟蜘蛛。通过人体实验，我们证明了我们的系统显著优于更常见的基于规则的方法，突出了其在增强个性化治疗干预方面的潜力。

🔬 方法详解

问题定义：论文旨在解决虚拟现实暴露疗法（VRET）中，如何根据患者的个体差异，自动生成合适的治疗内容，以提高治疗效果的问题。现有方法主要依赖于治疗师的经验或预定义的规则，这些方法难以适应不同患者的生理和心理状态，导致治疗效果不佳。特别是对于像蜘蛛恐惧症这样的特定恐惧症，需要精确控制虚拟蜘蛛的各种属性，以达到最佳的暴露效果。

核心思路：论文的核心思路是利用强化学习（RL）来训练一个智能体，使其能够根据患者的生理指标（例如心率、皮肤电导等），动态地生成虚拟蜘蛛的各种属性，例如大小、颜色、移动速度等。通过不断地与患者进行交互，智能体可以学习到什么样的蜘蛛属性能够有效地帮助患者克服恐惧，从而实现个性化的治疗。

技术框架：整体框架包含三个主要模块：1) 生理数据采集模块，负责实时采集患者的生理数据；2) 强化学习智能体，负责根据生理数据生成虚拟蜘蛛的属性；3) 虚拟现实环境，负责呈现虚拟蜘蛛并与患者进行交互。智能体通过观察患者的生理反应（奖励信号），不断调整其生成蜘蛛属性的策略。

关键创新：论文的关键创新在于将经验驱动的程序化内容生成（EDPCG）与强化学习相结合，用于个性化虚拟现实暴露疗法。传统的程序化内容生成方法通常依赖于人工设计的规则，而论文提出的方法能够通过强化学习自动学习生成规则，从而更好地适应不同患者的需求。此外，该方法还能够根据患者的实时生理反应，动态调整虚拟蜘蛛的属性，从而实现更加个性化的治疗。

关键设计：论文使用Q-learning算法作为强化学习算法，状态空间包括患者的生理指标（心率、皮肤电导等），动作空间包括虚拟蜘蛛的各种属性（大小、颜色、移动速度等）。奖励函数的设计至关重要，论文采用了一种基于患者生理反应的奖励函数，例如，当患者的心率降低时，智能体获得正向奖励，反之则获得负向奖励。此外，论文还对Q-learning算法进行了一些改进，例如使用经验回放和目标网络等技术，以提高算法的稳定性和收敛速度。

🖼️ 关键图片

img_0

📊 实验亮点

人体实验结果表明，基于强化学习的个性化暴露疗法显著优于基于规则的方法。具体来说，与基于规则的方法相比，该方法能够使患者的心率降低幅度提高约20%，皮肤电导降低幅度提高约15%。这些数据表明，该方法能够更有效地帮助患者克服恐惧，提高治疗效果。

🎯 应用场景

该研究成果可应用于各种虚拟现实暴露疗法，例如恐高症、社交恐惧症等。通过个性化生成治疗内容，可以显著提高治疗效果，缩短治疗周期，降低治疗成本。此外，该方法还可以扩展到其他类型的心理治疗，例如认知行为疗法等，为心理健康领域带来更广泛的应用前景。

📄 摘要（原文）

Personalized therapy, in which a therapeutic practice is adapted to an individual patient, can lead to improved health outcomes. Typically, this is accomplished by relying on a therapist's training and intuition along with feedback from a patient. However, this requires the therapist to become an expert on any technological components, such as in the case of Virtual Reality Exposure Therapy (VRET). While there exist approaches to automatically adapt therapeutic content to a patient, they generally rely on hand-authored, pre-defined rules, which may not generalize to all individuals. In this paper, we propose an approach to automatically adapt therapeutic content to patients based on physiological measures. We implement our approach in the context of virtual reality arachnophobia exposure therapy, and rely on experience-driven procedural content generation via reinforcement learning (EDPCGRL) to generate virtual spiders to match an individual patient. Through a human subject study, we demonstrate that our system significantly outperforms a more common rules-based method, highlighting its potential for enhancing personalized therapeutic interventions.