MuRAL: A Multi-Resident Ambient Sensor Dataset Annotated with Natural Language for Activities of Daily Living

📄 arXiv: 2504.20505v1 📥 PDF

作者: Xi Chen, Julien Cumin, Fano Ramparany, Dominique Vaufreydaz

分类: cs.AI

发布日期: 2025-04-29

💡 一句话要点

MuRAL：首个多住户环境传感器自然语言标注数据集，用于日常活动识别

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 环境传感器 日常活动识别 自然语言处理 大语言模型 智能家居 多住户环境 数据集 活动理解

📋 核心要点

  1. 现有环境传感器数据集缺乏上下文丰富性、复杂性和标注粒度，难以充分利用大语言模型（LLM）的能力。
  2. MuRAL数据集通过自然语言描述、住户身份和活动标签，提供了动态、真实的多住户环境数据，旨在弥补现有数据集的不足。
  3. 实验表明，LLM在理解环境数据语义方面有潜力，但在处理多用户歧义和不明确的传感器上下文时仍存在挑战。

📝 摘要（中文）

本文提出了MuRAL，一个首创的、包含自然语言标注的多住户环境传感器数据集。该数据集包含超过21小时的多用户传感器数据，这些数据来自智能家居环境中的21个会话。MuRAL数据集使用细粒度的自然语言描述、住户身份和高层次活动标签进行标注，所有这些都位于动态、真实的多住户环境中。论文使用最先进的大语言模型（LLM）对MuRAL进行了基准测试，用于三个核心任务：主体分配、动作描述和活动分类。结果表明，虽然LLM可以提供对环境数据的丰富语义解释，但当前的模型在处理多用户歧义和不明确的传感器上下文方面仍然面临挑战。MuRAL的发布旨在支持未来在智能环境中，利用LLM进行可解释的、具有社会意识的活动理解研究。

🔬 方法详解

问题定义：现有环境传感器数据集（如CASAS、ARAS和MARBLE）最初并非为LLM设计，缺乏充分利用LLM能力所需的上下文丰富性、复杂性和标注粒度。这限制了LLM在基于环境传感器的日常活动识别（HAR）中的应用，尤其是在自然语言推理和零样本学习方面。

核心思路：MuRAL数据集的核心思路是提供一个包含细粒度自然语言标注的多住户环境传感器数据集，以增强LLM对环境数据的理解能力。通过提供丰富的上下文信息，MuRAL旨在帮助LLM更好地处理多用户场景下的活动识别任务。

技术框架：MuRAL数据集的构建包括数据采集和数据标注两个主要阶段。数据采集阶段在智能家居环境中进行，涉及多个住户的日常活动。数据标注阶段则使用自然语言描述、住户身份和高层次活动标签对传感器数据进行标注。数据集随后被用于评估LLM在主体分配、动作描述和活动分类等任务上的性能。

关键创新：MuRAL数据集的关键创新在于其多住户环境和自然语言标注的结合。这是首个专门为LLM设计的、包含多用户传感器数据和自然语言描述的数据集。这种结合使得LLM能够更好地理解环境数据中的语义信息，从而提高活动识别的准确性和可解释性。

关键设计：MuRAL数据集包含来自21个会话的超过21小时的传感器数据。数据集的标注包括细粒度的自然语言描述，例如“Person A is opening the refrigerator to take out milk”，以及住户身份和高层次活动标签，例如“Preparing breakfast”。数据集的构建过程中，研究人员力求模拟真实的多住户环境，以增加数据集的实用性和泛化能力。具体传感器类型和布局信息未知。

📊 实验亮点

论文使用最先进的LLM对MuRAL数据集进行了基准测试，结果表明LLM在主体分配、动作描述和活动分类等任务上具有潜力。然而，实验也揭示了当前LLM在处理多用户歧义和不明确的传感器上下文方面仍存在挑战，这为未来的研究提供了方向。

🎯 应用场景

MuRAL数据集可应用于智能家居、老年人照护、远程医疗等领域。通过利用LLM对环境传感器数据进行分析，可以实现对居民日常活动和健康状况的监测，从而提供个性化的服务和支持。该数据集有助于推动基于LLM的智能环境感知技术的发展，提高人们的生活质量。

📄 摘要（原文）

Recent advances in Large Language Models (LLMs) have shown promising potential for human activity recognition (HAR) using ambient sensors, especially through natural language reasoning and zero-shot learning. However, existing datasets such as CASAS, ARAS, and MARBLE were not originally designed with LLMs in mind and therefore lack the contextual richness, complexity, and annotation granularity required to fully exploit LLM capabilities. In this paper, we introduce MuRAL, the first Multi-Resident Ambient sensor dataset with natural Language, comprising over 21 hours of multi-user sensor data collected from 21 sessions in a smart-home environment. MuRAL is annotated with fine-grained natural language descriptions, resident identities, and high-level activity labels, all situated in dynamic, realistic multi-resident settings. We benchmark MuRAL using state-of-the-art LLMs for three core tasks: subject assignment, action description, and activity classification. Our results demonstrate that while LLMs can provide rich semantic interpretations of ambient data, current models still face challenges in handling multi-user ambiguity and under-specified sensor contexts. We release MuRAL to support future research on LLM-powered, explainable, and socially aware activity understanding in smart environments. For access to the dataset, please reach out to us via the provided contact information. A direct link for dataset retrieval will be made available at this location in due course.