C3T: Cross-modal Transfer Through Time for Sensor-based Human Activity Recognition

📄 arXiv: 2407.16803v4 📥 PDF

作者: Abhi Kamboj, Anh Duy Nguyen, Minh N. Do

分类: cs.CV, cs.AI, cs.HC, cs.LG, eess.SP

发布日期: 2024-07-23 (更新: 2025-07-10)

💡 一句话要点

C3T：通过时间跨模态迁移，提升传感器人体活动识别在无监督模态适应下的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人体活动识别 无监督模态适应 跨模态迁移学习 时间序列分析 对比学习

📋 核心要点

  1. 现有无监督模态适应方法在处理时间序列数据时，会将时间信息压缩到单个向量，无法有效应对真实世界的时间扭曲。
  2. C3T的核心思想是在跨模态对齐时保留时间信息，通过对齐一组时间潜在向量，从而更好地处理动态传感器数据。
  3. 实验结果表明，C3T在无监督模态适应任务中，相比现有方法至少提升了8%的准确率，并对时间扭曲表现出更强的鲁棒性。

📝 摘要（中文）

为了释放各种传感器的潜力，本文研究了一种在人体活动识别（HAR）中，利用多模态时间表示空间在时间序列模态之间迁移知识的方法。具体来说，我们探索了一种在测试中使用的模态在训练期间没有标记数据的情况，我们称之为无监督模态适应（UMA）。我们将现有的UMA方法分为学生-教师或对比对齐方法。这些方法通常将连续时间数据样本压缩成单个潜在向量进行对齐，从而抑制了它们通过真实世界的时间扭曲传递时间信息的能力。为了解决这个问题，我们引入了跨模态时间迁移（C3T），它在对齐过程中保留时间信息，从而更好地处理动态传感器数据。C3T通过对齐跨传感模态的一组时间潜在向量来实现这一点。我们在各种相机+IMU数据集上的大量实验表明，C3T在UMA中优于现有方法至少8%的准确率，并显示出对时间扭曲（如时间偏移、未对准和膨胀）的卓越鲁棒性。我们的研究结果表明，C3T在开发时间序列传感器数据的通用模型方面具有巨大的潜力，为各种多模态应用开辟了新的途径。

🔬 方法详解

问题定义：论文旨在解决传感器人体活动识别中，无监督模态适应（UMA）的问题。现有的UMA方法，如学生-教师或对比对齐，通常将连续时间数据压缩成单个潜在向量，忽略了时间序列数据中的时间信息，导致模型难以应对真实世界中常见的时间扭曲，例如时间偏移、未对准和时间膨胀。

核心思路：C3T的核心思路是在跨模态对齐的过程中，保留时间信息。不同于以往将时间序列压缩成单个向量的方法，C3T将每个模态的时间序列数据表示为一组时间潜在向量。通过对齐这些时间潜在向量，C3T能够更好地捕捉和传递时间信息，从而提高模型对时间扭曲的鲁棒性。

技术框架：C3T的技术框架主要包含以下几个步骤：1) 使用编码器将不同模态的输入时间序列数据分别映射到各自的潜在空间；2) 将每个模态的潜在表示分割成一系列时间片段，并为每个片段生成一个潜在向量，形成时间潜在向量集合；3) 使用对比学习的目标函数，对齐不同模态的时间潜在向量集合，使得来自同一活动的时间片段在潜在空间中更接近；4) 使用对齐后的潜在表示进行活动分类。

关键创新：C3T最关键的创新在于其时间信息的保留和利用。通过将时间序列数据表示为一组时间潜在向量，并在对齐过程中显式地考虑时间关系，C3T克服了传统方法中时间信息丢失的问题，从而提高了模型对时间扭曲的鲁棒性。

关键设计：C3T的关键设计包括：1) 使用Transformer网络作为编码器，以捕捉时间序列数据中的长期依赖关系；2) 使用对比损失函数（例如InfoNCE）来对齐不同模态的时间潜在向量，鼓励模型学习跨模态共享的时间不变特征；3) 通过实验确定时间片段的数量和长度，以平衡计算复杂度和时间信息的保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，C3T在多个相机+IMU数据集上显著优于现有的无监督模态适应方法。具体来说，C3T在UMA任务中至少提升了8%的准确率，并且对时间偏移、未对准和时间膨胀等时间扭曲表现出更强的鲁棒性。这些结果验证了C3T在处理时间序列传感器数据方面的优越性。

🎯 应用场景

C3T在传感器人体活动识别领域具有广泛的应用前景，例如智能家居、可穿戴设备、医疗健康监测等。通过利用多种传感器数据，C3T可以更准确地识别用户的活动状态，从而为用户提供个性化的服务和支持。此外，C3T的跨模态迁移能力使得模型可以在新的传感器模态上快速部署，降低了模型开发的成本。

📄 摘要（原文）

In order to unlock the potential of diverse sensors, we investigate a method to transfer knowledge between time-series modalities using a multimodal \textit{temporal} representation space for Human Activity Recognition (HAR). Specifically, we explore the setting where the modality used in testing has no labeled data during training, which we refer to as Unsupervised Modality Adaptation (UMA). We categorize existing UMA approaches as Student-Teacher or Contrastive Alignment methods. These methods typically compress continuous-time data samples into single latent vectors during alignment, inhibiting their ability to transfer temporal information through real-world temporal distortions. To address this, we introduce Cross-modal Transfer Through Time (C3T), which preserves temporal information during alignment to handle dynamic sensor data better. C3T achieves this by aligning a set of temporal latent vectors across sensing modalities. Our extensive experiments on various camera+IMU datasets demonstrate that C3T outperforms existing methods in UMA by at least 8% in accuracy and shows superior robustness to temporal distortions such as time-shift, misalignment, and dilation. Our findings suggest that C3T has significant potential for developing generalizable models for time-series sensor data, opening new avenues for various multimodal applications.