Large Language Model Agents for Improving Engagement with Behavior Change Interventions: Application to Digital Mindfulness

📄 arXiv: 2407.13067v1 📥 PDF

作者: Harsh Kumar, Suhyeon Yoo, Angela Zavaleta Bernuy, Jiakai Shi, Huayin Luo, Joseph Williams, Anastasia Kuzminykh, Ashton Anderson, Rachel Kornfield

分类: cs.HC, cs.AI, cs.CY

发布日期: 2024-07-03

备注: Under review

💡 一句话要点

利用大语言模型智能体提升数字冥想行为干预的用户参与度

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 数字健康 行为干预 用户参与度 冥想 社会支持 LLM智能体

📋 核心要点

  1. 传统健康干预中，用户参与度随时间下降，缺乏有效且低成本的社会支持是主要挑战。
  2. 本研究探索利用LLM智能体提供信息和促进反思，模拟社会支持以提升用户参与度。
  3. 实验表明，提供信息且具有友好角色的LLM智能体能显著提高用户对冥想练习的参与度。

📝 摘要（中文）

本研究探讨了利用大型语言模型（LLM）智能体来提升用户参与数字冥想练习的效果。尽管自我引导的健康练习参与度通常会随着时间推移而下降，但整合教练等社会支持可以维持参与度。由于成本高昂和协调复杂，传统支持方式往往难以获得。LLM在提供类人对话方面展现出潜力，可以模拟社会支持。我们进行了两项随机实验，以评估LLM智能体对用户参与冥想练习的影响。第一项是单次实验，涉及502名众包工作者；第二项是为期三周的实验，包括54名参与者。我们探索了两种类型的LLM智能体：一种提供信息，另一种促进自我反思。两种智能体都增强了用户练习冥想的意愿。然而，只有提供信息且具有友好角色的LLM智能体显著提高了练习参与度。研究结果表明，特定的LLM智能体可以弥合数字健康干预中的社会支持差距。

🔬 方法详解

问题定义：本研究旨在解决数字健康干预中用户参与度低的问题，尤其是在冥想练习等自我引导的活动中。现有的社会支持方式，如教练，成本高昂且协调复杂，难以大规模应用。因此，需要一种低成本、易于获取的方式来提供类似社会支持，以维持和提高用户参与度。

核心思路：核心思路是利用大型语言模型（LLM）的对话能力，构建能够提供信息和促进自我反思的智能体，模拟人类教练的角色，从而在数字健康干预中提供社会支持。通过这种方式，可以降低成本，提高可及性，并最终提升用户参与度。

技术框架：研究采用了两个随机实验。第一个是单次实验，旨在快速评估不同LLM智能体的影响。第二个是为期三周的实验，旨在更真实地模拟长期使用场景。实验中，参与者被随机分配到不同的LLM智能体组（信息提供型、自我反思型）或对照组。通过问卷调查和行为数据（如冥想练习时长）来评估用户参与度和意愿。

关键创新：关键创新在于将LLM智能体应用于数字健康干预，并探索不同类型的LLM智能体（信息提供型 vs. 自我反思型）对用户参与度的影响。此外，研究还关注LLM智能体的角色设定（友好型），并发现其对用户参与度有显著影响。

关键设计：研究中，LLM智能体的具体实现细节（如prompt设计、对话策略）未详细描述，属于未知信息。实验设计中，采用了标准化的冥想练习，并通过问卷调查收集用户反馈。统计分析方法包括方差分析和回归分析，以评估不同组之间的差异和影响因素。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究发现，提供信息且具有友好角色的LLM智能体能够显著提高用户对冥想练习的参与度。具体而言，与对照组相比，该智能体能够显著提升用户练习冥想的意愿和实际练习时长。自我反思型智能体虽然能增强练习意愿，但对实际参与度的提升不明显。这些结果表明，LLM智能体的类型和角色设定对干预效果至关重要。

🎯 应用场景

该研究成果可应用于各种数字健康干预领域，例如心理健康、慢性病管理和健康生活方式推广。通过定制化的LLM智能体，可以为用户提供个性化的支持和指导，提高干预效果和用户满意度。未来，可以将LLM智能体与可穿戴设备和传感器结合，实现更智能、更主动的健康管理。

📄 摘要（原文）

Although engagement in self-directed wellness exercises typically declines over time, integrating social support such as coaching can sustain it. However, traditional forms of support are often inaccessible due to the high costs and complex coordination. Large Language Models (LLMs) show promise in providing human-like dialogues that could emulate social support. Yet, in-depth, in situ investigations of LLMs to support behavior change remain underexplored. We conducted two randomized experiments to assess the impact of LLM agents on user engagement with mindfulness exercises. First, a single-session study, involved 502 crowdworkers; second, a three-week study, included 54 participants. We explored two types of LLM agents: one providing information and another facilitating self-reflection. Both agents enhanced users' intentions to practice mindfulness. However, only the information-providing LLM, featuring a friendly persona, significantly improved engagement with the exercises. Our findings suggest that specific LLM agents may bridge the social support gap in digital health interventions.