Spiders Based on Anxiety: How Reinforcement Learning Can Deliver Desired User Experience in Virtual Reality Personalized Arachnophobia Treatment

📄 arXiv: 2409.17406v2 📥 PDF

作者: Athar Mahmoudi-Nejad, Matthew Guzdial, Pierre Boulanger

分类: cs.LG, cs.HC

发布日期: 2024-09-25 (更新: 2025-08-21)

备注: Accepted by ACM Transactions on Interactive Intelligent Systems (TIIS). Code and data available at https://github.com/athar70/EDPCGRL4Spider

💡 一句话要点

提出基于强化学习的虚拟现实蜘蛛生成方法，用于个性化恐惧症治疗。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 虚拟现实 暴露疗法 恐蛛症 强化学习 程序化内容生成 个性化治疗 人机交互

📋 核心要点

  1. 现有VRET方法依赖治疗师手动选择蜘蛛，耗时且需要专业知识，自动化方法则缺乏用户适应性。
  2. 论文提出结合程序化内容生成（PCG）和强化学习（RL）的框架，自动生成并调整蜘蛛形态以引发目标焦虑反应。
  3. 实验证明，该系统相比于传统的基于规则的VRET方法，在引发目标焦虑反应方面表现更优。

📝 摘要（中文）

本文提出了一种基于虚拟现实暴露疗法（VRET）的框架，用于治疗恐蛛症。该疗法通过让患者观察虚拟蜘蛛来降低其恐惧感，这需要虚拟蜘蛛能够引发特定的焦虑反应。然而，现有的VRET方法通常需要治疗师手动为每位患者选择合适的蜘蛛，这既耗时又需要专业知识。虽然存在自动化方法，但它们往往采用基于规则的方法，缺乏对特定用户的适应性。为了解决这些问题，我们提出了一种利用程序化内容生成（PCG）和强化学习（RL）的VRET框架，该框架能够自动调整蜘蛛的形态，以引发期望的焦虑反应。实验结果表明，与更常见的基于规则的VRET方法相比，该系统具有更优越的性能。

🔬 方法详解

问题定义：现有的虚拟现实暴露疗法（VRET）在治疗恐蛛症时，需要根据患者的个体差异，生成能够引发特定焦虑反应的虚拟蜘蛛。传统方法依赖治疗师手动选择或调整蜘蛛模型，效率低下且对治疗师的专业技能要求高。已有的自动化方法通常基于预定义的规则，难以适应不同患者的个性化需求，导致治疗效果受限。因此，如何自动生成能够引发目标焦虑反应的个性化虚拟蜘蛛，是本文要解决的核心问题。

核心思路：本文的核心思路是利用程序化内容生成（PCG）技术自动创建具有不同特征的虚拟蜘蛛，并结合强化学习（RL）算法，根据患者的实时反馈（例如生理指标或主观感受）动态调整蜘蛛的形态参数。通过强化学习，系统可以学习到不同蜘蛛特征与患者焦虑反应之间的关系，从而生成能够精确引发目标焦虑水平的个性化蜘蛛。

技术框架：该VRET框架主要包含以下几个模块：1) 蜘蛛生成模块：利用PCG技术，通过随机组合或调整蜘蛛的形态参数（如腿的数量、颜色、大小等）生成多样化的虚拟蜘蛛。2) 环境交互模块：将生成的蜘蛛放置在虚拟环境中，患者与蜘蛛进行交互。3) 焦虑评估模块：通过生理传感器（如心率、皮肤电导）或主观问卷收集患者的焦虑反应数据。4) 强化学习模块：将患者的焦虑反应作为奖励信号，利用RL算法训练一个智能体，该智能体能够根据患者的反馈调整蜘蛛的形态参数，以最大化奖励（即达到目标焦虑水平）。5) VRET控制模块：控制整个VRET流程，包括蜘蛛的生成、呈现、交互和调整，以及数据的收集和分析。

关键创新：该论文的关键创新在于将程序化内容生成和强化学习相结合，实现了个性化虚拟蜘蛛的自动生成和优化。与传统的基于规则的方法相比，该方法能够根据患者的实时反馈动态调整蜘蛛的形态，从而更好地适应患者的个体差异，提高治疗效果。此外，该方法还减少了对治疗师专业技能的依赖，降低了治疗成本。

关键设计：在强化学习模块中，可以使用Q-learning或深度Q网络（DQN）等算法。状态空间可以定义为蜘蛛的形态参数（如腿的数量、颜色、大小等）和患者的焦虑水平。动作空间可以定义为对蜘蛛形态参数的调整幅度。奖励函数可以设计为患者的实际焦虑水平与目标焦虑水平之间的差值，目标是最小化这个差值。为了提高学习效率，可以使用经验回放和目标网络等技术。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，基于强化学习的VRET系统能够更有效地引发目标焦虑反应，优于传统的基于规则的VRET方法。具体而言，该系统能够更快地将患者的焦虑水平调整到目标范围，并且能够更好地维持患者的焦虑水平在目标范围内，从而提高治疗效果。具体的性能数据（例如，达到目标焦虑水平所需的时间、焦虑水平的维持时间等）在论文中进行了详细的展示。

🎯 应用场景

该研究成果可应用于虚拟现实暴露疗法，为恐蛛症等恐惧症患者提供个性化的治疗方案。通过自动生成和优化虚拟刺激，可以提高治疗效率，降低治疗成本，并减少对治疗师专业技能的依赖。此外，该方法还可以扩展到其他心理疾病的治疗，例如社交恐惧症、广场恐惧症等，具有广阔的应用前景。

📄 摘要（原文）

The need to generate a spider to provoke a desired anxiety response arises in the context of personalized virtual reality exposure therapy (VRET), a treatment approach for arachnophobia. This treatment involves patients observing virtual spiders in order to become desensitized and decrease their phobia, which requires that the spiders elicit specific anxiety responses. However, VRET approaches tend to require therapists to hand-select the appropriate spider for each patient, which is a time-consuming process and takes significant technical knowledge and patient insight. While automated methods exist, they tend to employ rules-based approaches with minimal ability to adapt to specific users. To address these challenges, we present a framework for VRET utilizing procedural content generation (PCG) and reinforcement learning (RL), which automatically adapts a spider to elicit a desired anxiety response. We demonstrate the superior performance of this system compared to a more common rules-based VRET method.