AWARE Narrator and the Utilization of Large Language Models to Extract Behavioral Insights from Smartphone Sensing Data
作者: Tianyi Zhang, Miu Kojima, Simon D'Alfonso
分类: cs.HC, cs.AI
发布日期: 2024-11-07
💡 一句话要点
AWARE Narrator：利用大语言模型从智能手机传感数据中提取行为洞察
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 智能手机传感 行为分析 数字表型 大语言模型 自然语言处理
📋 核心要点
- 传统方法依赖人工特征工程，难以充分挖掘智能手机传感器数据中的行为模式和心理状态。
- AWARE Narrator 将传感器数据转化为自然语言叙述，利用大语言模型理解和分析用户行为。
- 实验表明，该方法能够有效总结个人行为，并为心理状态分析提供有价值的信息。
📝 摘要（中文）
智能手机配备的各种传感器已成为个人感知的重要工具。尤其是在数字健康领域，智能手机能够追踪与健康相关的行为和环境，从而显著促进数字表型分析，即分析数字互动数据以推断行为和评估心理健康。传统方法将原始传感器数据处理成信息特征，用于统计和机器学习分析。本文介绍了一种新颖的方法，该方法系统地将智能手机收集的数据转换为结构化的时间顺序叙述。AWARE Narrator 将量化的智能手机传感数据转换为英语描述，形成个人活动的综合叙述。我们将该框架应用于从大学生那里收集的一周数据，展示了利用这些叙述来总结个人行为以及利用大型语言模型分析心理状态的潜力。
🔬 方法详解
问题定义：论文旨在解决如何更有效地从智能手机传感器数据中提取用户的行为模式和心理状态信息的问题。现有方法通常依赖于人工设计的特征，这些特征可能无法捕捉到数据中复杂的关联性，并且需要领域专家的知识。此外，传统方法难以直接利用大型语言模型进行高级分析。
核心思路：论文的核心思路是将智能手机传感器数据转化为自然语言叙述，然后利用大型语言模型对这些叙述进行分析。这种方法的优势在于，自然语言叙述能够更全面地描述用户的行为，并且大型语言模型具有强大的语义理解和推理能力。
技术框架：AWARE Narrator 框架主要包含两个阶段：数据转换阶段和分析阶段。在数据转换阶段，框架将原始的智能手机传感器数据（例如，位置、加速度、应用使用情况等）转换为易于理解的英语描述。这些描述按照时间顺序排列，形成一个完整的叙述。在分析阶段，框架利用大型语言模型（例如，GPT-3）对这些叙述进行分析，以提取用户的行为模式和心理状态信息。
关键创新：该论文的关键创新在于提出了一种将智能手机传感器数据转化为自然语言叙述的方法。这种方法使得可以直接利用大型语言模型进行行为分析和心理状态评估，而无需进行复杂的人工特征工程。与传统方法相比，该方法能够更全面地捕捉到数据中的信息，并且具有更强的泛化能力。
关键设计：数据转换阶段的关键设计在于如何将不同类型的传感器数据转化为有意义的自然语言描述。论文中使用了预定义的模板和规则来实现这一目标。例如，位置数据可以被转化为“用户在X地点停留了Y分钟”这样的描述。分析阶段的关键设计在于如何选择合适的大型语言模型，并设计合适的提示语来引导模型进行分析。论文中使用了GPT-3模型，并设计了针对不同分析任务的提示语。
🖼️ 关键图片
📊 实验亮点
该研究通过对大学生一周的智能手机数据进行实验，验证了 AWARE Narrator 框架的有效性。实验结果表明，该框架能够生成清晰、连贯的个人行为叙述，并能够利用大型语言模型提取有价值的行为模式和心理状态信息。虽然论文中没有给出具体的性能指标，但实验结果表明该方法具有很大的潜力。
🎯 应用场景
该研究成果可应用于数字健康、行为科学、个性化推荐等领域。例如，可以利用该方法监测用户的健康行为，评估心理健康状况，并提供个性化的健康建议。此外，该方法还可以用于了解用户的兴趣偏好，从而提供更精准的推荐服务。未来，该方法有望在智能家居、智能交通等领域发挥重要作用。
📄 摘要（原文）
Smartphones, equipped with an array of sensors, have become valuable tools for personal sensing. Particularly in digital health, smartphones facilitate the tracking of health-related behaviors and contexts, contributing significantly to digital phenotyping, a process where data from digital interactions is analyzed to infer behaviors and assess mental health. Traditional methods process raw sensor data into information features for statistical and machine learning analyses. In this paper, we introduce a novel approach that systematically converts smartphone-collected data into structured, chronological narratives. The AWARE Narrator translates quantitative smartphone sensing data into English language descriptions, forming comprehensive narratives of an individual's activities. We apply the framework to the data collected from university students over a week, demonstrating the potential of utilizing the narratives to summarize individual behavior, and analyzing psychological states by leveraging large language models.