DailyLLM: Context-Aware Activity Log Generation Using Multi-Modal Sensors and LLMs
作者: Ye Tian, Xiaoyuan Ren, Zihao Wang, Onat Gungor, Xiaofan Yu, Tajana Rosing
分类: cs.AI, cs.CL, cs.HC, cs.MM
发布日期: 2025-07-18
💡 一句话要点
DailyLLM：利用多模态传感器和LLM生成上下文感知的活动日志
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 活动日志生成 多模态传感器 大型语言模型 上下文感知 用户行为分析 健康监测 结构化提示
📋 核心要点
- 现有活动日志生成方法在准确性、效率和语义丰富度方面存在局限性，难以充分支持用户行为分析和健康监测。
- DailyLLM通过整合智能手机和智能手表的多模态传感器数据，并结合轻量级LLM框架和结构化提示，实现上下文感知的活动日志生成。
- 实验表明，DailyLLM在日志生成精度和推理速度上均优于现有方法，且能高效部署在资源受限的设备上。
📝 摘要（中文）
本文提出DailyLLM，旨在利用大型语言模型（LLM）生成更准确、高效和语义丰富的活动日志，以促进用户行为分析和健康监测。DailyLLM是首个全面整合位置、运动、环境和生理四个维度上下文活动信息的日志生成和总结系统，仅使用智能手机和智能手表上常见的传感器。该系统采用轻量级的LLM框架，结合结构化提示和高效特征提取，实现高层次的活动理解。实验结果表明，DailyLLM优于现有最先进的日志生成方法，并且可以高效地部署在个人电脑和树莓派上。仅使用一个15亿参数的LLM模型，DailyLLM在日志生成BERTScore精度上比700亿参数的最先进基线提高了17%，同时推理速度提高了近10倍。
🔬 方法详解
问题定义：现有活动日志生成方法无法充分利用上下文信息，导致生成的日志准确性、效率和语义丰富度不足。这些方法通常依赖于复杂的模型或大量的计算资源，难以在移动设备上高效部署，限制了其在实际应用中的可行性。
核心思路：DailyLLM的核心思路是利用轻量级的LLM模型，结合多模态传感器数据和结构化提示，实现上下文感知的活动日志生成。通过整合位置、运动、环境和生理四个维度的信息，系统能够更全面地理解用户的活动，并生成更准确、更具语义信息的日志。
技术框架：DailyLLM的整体框架包括以下几个主要模块：1) 多模态传感器数据采集模块，负责从智能手机和智能手表上的传感器收集数据；2) 特征提取模块，从传感器数据中提取有用的特征，例如位置信息、运动状态、环境温度和心率等；3) 结构化提示模块，将提取的特征以结构化的方式输入到LLM中，引导LLM生成活动日志；4) LLM生成模块，利用轻量级的LLM模型生成活动日志。
关键创新：DailyLLM的关键创新在于综合利用多模态传感器数据，并结合结构化提示和轻量级LLM模型，实现了高效且准确的上下文感知活动日志生成。与现有方法相比，DailyLLM能够更全面地理解用户的活动，并生成更具语义信息的日志，同时降低了计算成本和部署难度。
关键设计：DailyLLM采用了一个1.5B参数的LLM模型，并使用结构化提示来引导LLM生成活动日志。结构化提示包括活动类型、位置信息、运动状态、环境信息和生理数据等。系统还采用了高效的特征提取方法，以减少计算量和提高推理速度。损失函数方面，采用了标准的语言模型损失函数，以优化LLM的生成能力。
🖼️ 关键图片
📊 实验亮点
DailyLLM在日志生成BERTScore精度上比700亿参数的最先进基线提高了17%，同时推理速度提高了近10倍。该系统仅使用一个15亿参数的LLM模型，并且可以高效地部署在个人电脑和树莓派上，证明了其在资源受限设备上的可行性。这些结果表明，DailyLLM在准确性、效率和部署方面均优于现有方法。
🎯 应用场景
DailyLLM可应用于用户行为分析、健康监测、智能家居、个性化推荐等领域。通过生成详细的活动日志，可以帮助用户更好地了解自己的行为习惯，并为健康管理提供依据。此外，该技术还可以用于智能家居系统，根据用户的活动状态自动调节环境设置，提高生活质量。在个性化推荐方面，可以根据用户的活动日志推荐更符合其兴趣和需求的商品或服务。
📄 摘要（原文）
Rich and context-aware activity logs facilitate user behavior analysis and health monitoring, making them a key research focus in ubiquitous computing. The remarkable semantic understanding and generation capabilities of Large Language Models (LLMs) have recently created new opportunities for activity log generation. However, existing methods continue to exhibit notable limitations in terms of accuracy, efficiency, and semantic richness. To address these challenges, we propose DailyLLM. To the best of our knowledge, this is the first log generation and summarization system that comprehensively integrates contextual activity information across four dimensions: location, motion, environment, and physiology, using only sensors commonly available on smartphones and smartwatches. To achieve this, DailyLLM introduces a lightweight LLM-based framework that integrates structured prompting with efficient feature extraction to enable high-level activity understanding. Extensive experiments demonstrate that DailyLLM outperforms state-of-the-art (SOTA) log generation methods and can be efficiently deployed on personal computers and Raspberry Pi. Utilizing only a 1.5B-parameter LLM model, DailyLLM achieves a 17% improvement in log generation BERTScore precision compared to the 70B-parameter SOTA baseline, while delivering nearly 10x faster inference speed.