Contrastive Learning with Auxiliary User Detection for Identifying Activities

📄 arXiv: 2410.21300v1 📥 PDF

作者: Wen Ge, Guanyi Mou, Emmanuel O. Agu, Kyumin Lee

分类: cs.CV, cs.LG

发布日期: 2024-10-21

备注: Accepted in ICMLA 2024

期刊: ICMLA 2024

💡 一句话要点

提出CLAUDIA框架，通过辅助用户检测的对比学习提升用户和上下文感知的人类活动识别。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人类活动识别 用户感知 情境感知 对比学习 用户识别 普适计算

📋 核心要点

  1. 现有HAR方法侧重情境感知，忽略了用户自身差异对活动识别的影响，导致模型泛化能力受限。
  2. CLAUDIA框架通过联合学习用户不变和用户特定的模式，同时进行用户识别和活动识别，增强了模型的个性化理解。
  3. 实验结果表明，CLAUDIA在多个数据集上显著提升了活动识别的准确率和泛化能力，验证了其有效性。

📝 摘要（中文）

人类活动识别(HAR)在普适计算中至关重要，具有广泛的实际应用。虽然最近的SOTA HAR研究表现出了令人印象深刻的性能，但一些关键方面仍未得到充分探索。首先，HAR可以是高度情境化和个性化的。然而，先前的工作主要集中在情境感知(CA)上，而很大程度上忽略了用户感知(UA)的必要性。我们认为，在HAR任务中，解决用户执行动作的内在差异的影响与考虑外部情境环境设置同样重要。其次，用户感知使模型能够识别用户差异，但并不一定保证减轻这些差异，即在相同活动下实现统一的预测。需要一种明确强制更紧密（不同用户，相同活动）表示的方法。为了弥合这一差距，我们引入了CLAUDIA，这是一个旨在解决这些问题的新颖框架。具体来说，我们通过在CA-HAR框架内集成用户识别(UI)来扩展CA-HAR任务的情境范围，在一个名为用户和情境感知HAR(UCA-HAR)的新任务中联合预测CA-HAR和UI。这种方法通过联合学习用户不变和用户特定的模式来丰富个性化和情境理解。受到视觉领域SOTA设计的启发，我们在实例-实例对上引入了监督对比损失目标，以提高模型效率并改善学习到的特征质量。在三个真实世界的CA-HAR数据集上的评估显示出显着的性能提升，Matthew相关系数的平均提升范围为5.8%到14.1%，Macro F1分数的平均提升范围为3.0%到7.2%。

🔬 方法详解

问题定义：现有的人类活动识别(HAR)方法主要关注情境感知(Context-Aware, CA)，忽略了不同用户在执行相同活动时存在的固有差异。这种忽略导致模型在面对不同用户时，识别准确率下降，泛化能力不足。因此，需要一种能够同时考虑情境和用户因素的HAR方法。

核心思路：论文的核心思路是将用户识别(User Identification, UI)融入到情境感知HAR(CA-HAR)框架中，形成用户和情境感知HAR(User and Context-Aware HAR, UCA-HAR)。通过联合学习用户不变和用户特定的特征，使模型能够区分不同用户的行为模式，从而提高活动识别的准确率。

技术框架：CLAUDIA框架包含两个主要分支：CA-HAR分支和UI分支。CA-HAR分支负责识别活动类型，UI分支负责识别用户身份。这两个分支共享底层特征提取层，并通过联合损失函数进行优化。框架还引入了对比学习机制，鼓励相同活动的不同用户样本在特征空间中更接近，从而提高模型的鲁棒性。

关键创新：该论文的关键创新在于提出了UCA-HAR任务，并将用户识别作为辅助任务融入到活动识别中。此外，论文还引入了监督对比学习，显式地拉近了相同活动但不同用户的特征表示，从而提高了模型的泛化能力。这种方法与现有方法的本质区别在于，它不仅考虑了情境因素，还充分考虑了用户因素，从而实现了更准确和鲁棒的活动识别。

关键设计：论文采用了监督对比损失函数，该损失函数旨在最小化相同活动的不同用户样本之间的距离，同时最大化不同活动样本之间的距离。具体来说，对于每个样本，模型会生成一个特征向量，然后计算该向量与其他样本向量之间的相似度。损失函数会惩罚相似度低的相同活动样本和相似度高的不同活动样本。此外，论文还采用了多层感知机(MLP)作为分类器，用于预测活动类型和用户身份。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

CLAUDIA框架在三个真实世界的CA-HAR数据集上进行了评估，结果表明，该框架显著提升了活动识别的性能。具体来说，Matthew相关系数平均提升了5.8%到14.1%，Macro F1分数平均提升了3.0%到7.2%。这些结果表明，CLAUDIA框架能够有效地利用用户和情境信息，提高活动识别的准确率和泛化能力。

🎯 应用场景

该研究成果可应用于智能家居、健康监测、老年人护理等领域。通过准确识别用户的日常活动，系统可以提供个性化的服务和支持，例如自动调节家居环境、监测健康状况、及时发现异常行为等。未来，该技术还可以与可穿戴设备结合，实现更便捷和实时的活动识别。

📄 摘要（原文）

Human Activity Recognition (HAR) is essential in ubiquitous computing, with far-reaching real-world applications. While recent SOTA HAR research has demonstrated impressive performance, some key aspects remain under-explored. Firstly, HAR can be both highly contextualized and personalized. However, prior work has predominantly focused on being Context-Aware (CA) while largely ignoring the necessity of being User-Aware (UA). We argue that addressing the impact of innate user action-performing differences is equally crucial as considering external contextual environment settings in HAR tasks. Secondly, being user-aware makes the model acknowledge user discrepancies but does not necessarily guarantee mitigation of these discrepancies, i.e., unified predictions under the same activities. There is a need for a methodology that explicitly enforces closer (different user, same activity) representations. To bridge this gap, we introduce CLAUDIA, a novel framework designed to address these issues. Specifically, we expand the contextual scope of the CA-HAR task by integrating User Identification (UI) within the CA-HAR framework, jointly predicting both CA-HAR and UI in a new task called User and Context-Aware HAR (UCA-HAR). This approach enriches personalized and contextual understanding by jointly learning user-invariant and user-specific patterns. Inspired by SOTA designs in the visual domain, we introduce a supervised contrastive loss objective on instance-instance pairs to enhance model efficacy and improve learned feature quality. Evaluation across three real-world CA-HAR datasets reveals substantial performance enhancements, with average improvements ranging from 5.8% to 14.1% in Matthew's Correlation Coefficient and 3.0% to 7.2% in Macro F1 score.