LSC-ADL: An Activity of Daily Living (ADL)-Annotated Lifelog Dataset Generated via Semi-Automatic Clustering

📄 arXiv: 2504.02060v1 📥 PDF

作者: Minh-Quan Ho-Le, Duy-Khang Ho, Van-Tu Ninh, Cathal Gurrin, Minh-Triet Tran

分类: cs.CV, cs.IR

发布日期: 2025-04-02

备注: 11 pages, 4 figures

💡 一句话要点

LSC-ADL：通过半自动聚类生成的生活日志活动标注数据集，提升检索解释性。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 生活日志 活动识别 日常生活活动 数据集 半自动标注

📋 核心要点

  1. 现有生活日志检索方法缺乏活动级别的标注，忽略了时间关系，限制了语义理解。
  2. 提出一种半自动标注方法，利用HDBSCAN聚类和人工验证，为生活日志数据添加ADL标注。
  3. LSC-ADL数据集通过集成动作识别，提升了生活日志检索的上下文感知能力和可解释性。

📝 摘要（中文）

本文介绍了一个名为LSC-ADL的生活日志数据集，该数据集通过在LSC数据集上增加日常生活活动（ADL）标注，构建了一个结构化的语义层。该数据集利用半自动方法，采用HDBSCAN算法进行类内聚类，并通过人工验证，生成精确的ADL标注，从而增强检索的可解释性。通过将动作识别集成到生活日志检索中，LSC-ADL弥补了现有研究中的关键差距，提供了更具上下文感知能力的日常生活表示。我们相信该数据集将推动生活日志检索、活动识别和以自我为中心的视觉研究，最终提高检索内容的准确性和可解释性。ADL标注可在https://bit.ly/lsc-adl-annotations下载。

🔬 方法详解

问题定义：现有生活日志检索方法主要关注视觉特征，缺乏对活动上下文的理解。这导致检索结果缺乏语义信息，难以解释检索的原因。现有方法难以有效利用活动级别的信息，无法捕捉活动之间的时间关系，限制了检索的准确性和可解释性。

核心思路：本文的核心思路是通过引入日常生活活动（ADL）作为结构化的语义层，增强生活日志数据的表示能力。通过对生活日志数据进行ADL标注，可以为检索提供更丰富的上下文信息，从而提高检索的准确性和可解释性。半自动标注方法结合了聚类算法的效率和人工验证的准确性，可以有效地生成高质量的ADL标注。

技术框架：LSC-ADL数据集的构建流程主要包括以下几个阶段：1) 数据准备：使用LSC数据集作为基础数据。2) 类内聚类：使用HDBSCAN算法对LSC数据集中的数据进行类内聚类，将相似的片段聚类到一起。3) 人工验证：对聚类结果进行人工验证，修正聚类错误，并为每个聚类簇分配ADL标签。4) 数据集发布：发布带有ADL标注的LSC-ADL数据集。

关键创新：该论文的关键创新在于提出了一种半自动的ADL标注方法，并将其应用于生活日志数据集。该方法结合了HDBSCAN聚类算法和人工验证，可以在保证标注质量的同时，提高标注效率。此外，该论文还提出了将动作识别集成到生活日志检索中的思想，可以为检索提供更丰富的上下文信息。

关键设计：HDBSCAN算法的关键参数包括最小簇大小和最小样本数。这些参数的设置会影响聚类结果的质量。人工验证阶段需要仔细检查聚类结果，并根据实际情况进行修正。ADL标签的选择需要根据具体的应用场景进行考虑。论文未提供损失函数和网络结构的具体信息，可能在后续研究中进行探索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LSC-ADL数据集通过半自动标注方法，为LSC数据集添加了ADL标注，构建了一个结构化的语义层。该数据集可以提高生活日志检索的准确性和可解释性。具体性能数据和对比基线未在摘要中提及，需要查阅完整论文。

🎯 应用场景

LSC-ADL数据集可应用于多种场景，例如：个性化健康监测、智能家居、老年人辅助生活等。通过分析日常生活活动，可以为用户提供个性化的健康建议、智能化的家居控制和安全保障。该数据集还可以促进生活日志检索、活动识别和以自我为中心的视觉研究，推动相关技术的发展。

📄 摘要（原文）

Lifelogging involves continuously capturing personal data through wearable cameras, providing an egocentric view of daily activities. Lifelog retrieval aims to search and retrieve relevant moments from this data, yet existing methods largely overlook activity-level annotations, which capture temporal relationships and enrich semantic understanding. In this work, we introduce LSC-ADL, an ADL-annotated lifelog dataset derived from the LSC dataset, incorporating Activities of Daily Living (ADLs) as a structured semantic layer. Using a semi-automatic approach featuring the HDBSCAN algorithm for intra-class clustering and human-in-the-loop verification, we generate accurate ADL annotations to enhance retrieval explainability. By integrating action recognition into lifelog retrieval, LSC-ADL bridges a critical gap in existing research, offering a more context-aware representation of daily life. We believe this dataset will advance research in lifelog retrieval, activity recognition, and egocentric vision, ultimately improving the accuracy and interpretability of retrieved content. The ADL annotations can be downloaded at https://bit.ly/lsc-adl-annotations.