AutoLife: Automatic Life Journaling with Smartphones and LLMs
作者: Huatao Xu, Panrong Tong, Mo Li, Mani Srivastava
分类: cs.AI, cs.CL, cs.HC
发布日期: 2024-12-20 (更新: 2024-12-23)
备注: 13 pages
💡 一句话要点
AutoLife：利用智能手机和LLM自动生成生活日志
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 生活日志 智能手机 大型语言模型 零样本学习 多模态传感器 情境感知 行为识别
📋 核心要点
- 现有生活日志记录方法依赖于用户手动输入或复杂的视觉/听觉数据分析，成本高且隐私风险大。
- AutoLife利用智能手机的低成本传感器数据，结合LLM的零样本学习能力，自动生成用户生活日志。
- 实验表明，AutoLife能够准确可靠地生成生活日志，并构建了真实生活数据集作为基准。
📝 摘要（中文）
本文介绍了一种新颖的移动感知应用——生活日志记录，旨在生成用户日常生活的语义描述。我们提出了AutoLife，一个基于商用智能手机的自动生活日志系统。AutoLife仅输入来自智能手机的低成本传感器数据（不包括照片或音频），即可自动为用户生成全面的生活日志。为了实现这一目标，我们首先从多模态传感器数据中提取时间、运动和位置上下文，并利用大型语言模型（LLM）的零样本能力，结合关于人类生活的常识知识，来解释不同的上下文并生成生活日志。为了管理任务复杂性和长时间的感知，我们提出了一个多层框架，该框架分解任务并将LLM与其他技术无缝集成，以进行生活日志记录。这项研究建立了一个真实生活数据集作为基准，广泛的实验结果表明AutoLife可以生成准确可靠的生活日志。
🔬 方法详解
问题定义：现有生活日志记录方法主要依赖于用户手动输入，或者需要分析大量的图像、音频等多媒体数据。手动输入繁琐且主观，多媒体数据分析计算成本高昂，并且存在隐私泄露的风险。因此，如何利用低成本、低隐私风险的传感器数据自动生成准确的生活日志是一个挑战。
核心思路：AutoLife的核心思路是利用智能手机内置的低成本传感器（如加速度计、陀螺仪、GPS等）获取用户的运动、位置和时间信息，然后结合大型语言模型（LLM）的零样本学习能力，将这些传感器数据转化为人类可理解的语义描述。通过LLM对人类生活的常识知识进行推理，从而生成全面的生活日志。
技术框架：AutoLife采用多层框架。第一层是传感器数据采集层，负责从智能手机的各种传感器中收集数据。第二层是上下文提取层，利用传感器数据推断用户的时间、运动和位置上下文。第三层是日志生成层，将提取的上下文信息输入到LLM中，生成生活日志。该框架将复杂的任务分解为多个阶段，并无缝集成了LLM和其他技术。
关键创新：AutoLife的关键创新在于利用LLM的零样本学习能力，仅使用低成本的传感器数据即可生成高质量的生活日志。与传统方法相比，AutoLife无需训练特定的模型，也无需依赖大量的标注数据。此外，多层框架的设计使得系统能够有效地管理任务复杂性和长时间的感知。
关键设计：AutoLife的关键设计包括：1) 多模态传感器数据融合，利用卡尔曼滤波等技术提高定位精度；2) 基于规则和机器学习算法的运动状态识别，区分行走、跑步、静止等状态；3) LLM的prompt工程，设计合适的prompt引导LLM生成准确的日志；4) 多层框架的任务分解和模块集成。
🖼️ 关键图片
📊 实验亮点
AutoLife在真实生活数据集上进行了评估，实验结果表明，AutoLife能够生成准确可靠的生活日志。与基于规则的基线方法相比，AutoLife在日志的完整性和准确性方面均有显著提升。具体而言，AutoLife生成的日志与人工标注的日志在语义相似度上达到了较高的水平。
🎯 应用场景
AutoLife可应用于个人健康管理、行为模式分析、智能家居控制等领域。通过自动记录用户的日常生活，可以帮助用户更好地了解自己的生活习惯，从而进行健康管理和行为改善。此外，AutoLife还可以为智能家居系统提供用户行为上下文信息，实现更智能化的家居控制。
📄 摘要（原文）
This paper introduces a novel mobile sensing application - life journaling - designed to generate semantic descriptions of users' daily lives. We present AutoLife, an automatic life journaling system based on commercial smartphones. AutoLife only inputs low-cost sensor data (without photos or audio) from smartphones and can automatically generate comprehensive life journals for users. To achieve this, we first derive time, motion, and location contexts from multimodal sensor data, and harness the zero-shot capabilities of Large Language Models (LLMs), enriched with commonsense knowledge about human lives, to interpret diverse contexts and generate life journals. To manage the task complexity and long sensing duration, a multilayer framework is proposed, which decomposes tasks and seamlessly integrates LLMs with other techniques for life journaling. This study establishes a real-life dataset as a benchmark and extensive experiment results demonstrate that AutoLife produces accurate and reliable life journals.