Timestamp-supervised Wearable-based Activity Segmentation and Recognition with Contrastive Learning and Order-Preserving Optimal Transport
作者: Songpengcheng Xia, Lei Chu, Ling Pei, Jiarui Yang, Wenxian Yu, Robert C. Qiu
分类: cs.CV, cs.AI
发布日期: 2023-10-13
备注: Under Review (submitted to IEEE TMC)
💡 一句话要点
提出基于时间戳监督的可穿戴活动分割与识别方法以解决多类窗口问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 人体活动识别 可穿戴设备 时间戳监督 对比学习 最优传输 深度学习 弱监督学习
📋 核心要点
- 现有的滑动窗口方法在处理多类窗口问题时表现不佳，导致活动识别和时间序列分割的效果受限。
- 本文提出了一种基于时间戳监督的联合活动分割与识别方法，利用稀疏注释信息生成样本级伪标签以提升模型性能。
- 在四个公共HAR数据集上的实验结果显示，所提方法在性能上优于现有的弱监督方法，并与完全监督方法相当。
📝 摘要（中文）
可穿戴设备的人体活动识别（HAR）是普遍移动计算应用中的重要技术。现有的滑动窗口方案在处理多类窗口问题时存在不足，因此越来越多的研究集中于深度学习方法的联合分割与识别。然而，获取完整的活动注释数据既耗时又资源密集，而无监督方法的效果较差。为了解决这些挑战，本文提出了一种新颖的基于时间戳监督的联合活动分割与识别方法，仅需每个活动段一个标注样本。通过类激活图估计原型，形成样本与原型的对比模块，并利用最优传输理论生成样本级伪标签，从而提升性能。综合实验表明，该方法在四个公共HAR数据集上优于现有的弱监督方法，并与完全监督方法的性能相当。
🔬 方法详解
问题定义：本文旨在解决可穿戴设备在人体活动识别中的多类窗口问题，现有方法在获取完整活动注释时资源消耗大且效率低下。
核心思路：提出基于时间戳的监督机制，仅需每个活动段一个标注样本，通过生成伪标签来弥补稀疏注释带来的信息不足。
技术框架：整体架构包括样本到原型的对比模块和最优传输理论的应用，形成一个有效的活动分割与识别流程。
关键创新：通过类激活图估计原型并生成样本级伪标签，显著提升了模型在稀疏注释条件下的性能，与现有方法相比具有本质的区别。
关键设计：在损失函数设计上，结合对比学习和最优传输理论，确保模型在训练过程中能够有效利用未标注数据。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提方法在四个公共HAR数据集上表现优异，超越了当前最先进的弱监督方法，且在某些任务上与完全监督方法的性能相当，展示了显著的提升幅度。
🎯 应用场景
该研究的潜在应用领域包括智能家居、健康监测和运动分析等，能够为可穿戴设备提供更高效的活动识别能力，提升用户体验和数据分析的准确性。未来，该方法有望在实时监测和个性化健康管理中发挥重要作用。
📄 摘要（原文）
Human activity recognition (HAR) with wearables is one of the serviceable technologies in ubiquitous and mobile computing applications. The sliding-window scheme is widely adopted while suffering from the multi-class windows problem. As a result, there is a growing focus on joint segmentation and recognition with deep-learning methods, aiming at simultaneously dealing with HAR and time-series segmentation issues. However, obtaining the full activity annotations of wearable data sequences is resource-intensive or time-consuming, while unsupervised methods yield poor performance. To address these challenges, we propose a novel method for joint activity segmentation and recognition with timestamp supervision, in which only a single annotated sample is needed in each activity segment. However, the limited information of sparse annotations exacerbates the gap between recognition and segmentation tasks, leading to sub-optimal model performance. Therefore, the prototypes are estimated by class-activation maps to form a sample-to-prototype contrast module for well-structured embeddings. Moreover, with the optimal transport theory, our approach generates the sample-level pseudo-labels that take advantage of unlabeled data between timestamp annotations for further performance improvement. Comprehensive experiments on four public HAR datasets demonstrate that our model trained with timestamp supervision is superior to the state-of-the-art weakly-supervised methods and achieves comparable performance to the fully-supervised approaches.