RelCon: Relative Contrastive Learning for a Motion Foundation Model for Wearable Data

📄 arXiv: 2411.18822v5 📥 PDF

作者: Maxwell A. Xu, Jaya Narain, Gregory Darnell, Haraldur Hallgrimsson, Hyewon Jeong, Darren Forde, Richard Fineman, Karthik J. Raghuram, James M. Rehg, Shirley Ren

分类: eess.SP, cs.AI, cs.LG

发布日期: 2024-11-27 (更新: 2025-04-10)

备注: Accepted to ICLR 2025. Code here: https://github.com/maxxu05/relcon

期刊: The Thirteenth International Conference on Learning Representations (ICLR), 2025

💡 一句话要点

RelCon：用于可穿戴设备运动数据的新型相对对比学习运动基础模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可穿戴设备 运动数据 对比学习 自监督学习 基础模型 时间序列分析 活动识别

📋 核心要点

  1. 现有方法难以有效利用可穿戴设备数据中的丰富时序关系和个体差异。
  2. RelCon通过学习相对对比表示，捕捉运动数据中的motif相似性和领域语义信息。
  3. 该模型在10亿片段上训练，并在活动识别和步态分析等任务上取得SOTA性能。

📝 摘要（中文）

本文提出RelCon，一种新颖的自监督相对对比学习方法，用于从可穿戴加速度传感器训练运动基础模型。首先，训练一个可学习的距离度量，以捕获motif相似性和特定领域的语义信息，例如旋转不变性。然后，学习到的距离提供了加速度时间序列对之间的语义相似性度量，我们使用它来训练我们的基础模型，以对跨时间和跨对象的相对关系进行建模。该基础模型在来自87,376名参与者的10亿个片段上进行训练，并在多项下游任务中实现了最先进的性能，包括人类活动识别和步态指标回归。据我们所知，我们是第一个展示可穿戴设备运动数据基础模型在不同评估任务中的泛化能力。

🔬 方法详解

问题定义：论文旨在解决如何从可穿戴设备（如加速度计）获取的运动数据中学习通用的、可迁移的运动表征的问题。现有方法通常针对特定任务进行优化，缺乏泛化能力，并且难以有效利用大规模无标签数据中的时序关系和个体差异。

核心思路：论文的核心思路是利用相对对比学习，学习运动数据片段之间的相对关系。通过学习一个可学习的距离度量，捕捉运动数据中的motif相似性和领域特定的语义信息（如旋转不变性）。然后，利用这个距离度量来训练一个基础模型，使其能够建模跨时间和跨个体的相对关系。这种方法旨在学习更鲁棒、更具泛化能力的运动表征。

技术框架：RelCon的整体框架包括以下几个主要步骤：1) 数据预处理：对原始加速度计数据进行分段和预处理。2) 距离度量学习：训练一个可学习的距离度量，用于衡量运动数据片段之间的相似性。3) 相对对比学习：利用学习到的距离度量，构建正负样本对，并使用对比学习损失训练基础模型。4) 下游任务微调：将训练好的基础模型应用于各种下游任务，如人类活动识别和步态指标回归。

关键创新：RelCon的关键创新在于其相对对比学习方法。与传统的对比学习方法不同，RelCon不是直接学习数据点之间的绝对相似性，而是学习数据点之间的相对关系。这种方法能够更好地捕捉运动数据中的时序关系和个体差异，从而学习到更具泛化能力的运动表征。此外，可学习的距离度量也是一个创新点，它能够自适应地学习运动数据中的motif相似性和领域语义信息。

关键设计：在距离度量学习中，论文使用了基于神经网络的距离度量模型，并采用对比学习损失进行训练。在相对对比学习中，论文使用了InfoNCE损失函数，并精心设计了正负样本的采样策略。基础模型采用了Transformer架构，并使用大规模无标签数据进行预训练。具体的参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RelCon在多个下游任务中取得了state-of-the-art的性能。例如，在人类活动识别任务中，RelCon显著优于现有的方法。此外，RelCon在步态指标回归任务中也取得了优异的性能，证明了其在运动分析方面的潜力。该模型在来自87,376名参与者的10亿个片段上进行了训练，验证了其在大规模数据上的有效性。

🎯 应用场景

RelCon具有广泛的应用前景，包括：1) 智能健康监测：用于监测老年人的跌倒风险、评估患者的康复进展。2) 运动分析：用于分析运动员的运动姿态、提高训练效率。3) 人机交互：用于识别用户的运动意图、实现更自然的人机交互。该研究有望推动可穿戴设备在健康、运动和人机交互等领域的应用。

📄 摘要（原文）

We present RelCon, a novel self-supervised Relative Contrastive learning approach for training a motion foundation model from wearable accelerometry sensors. First, a learnable distance measure is trained to capture motif similarity and domain-specific semantic information such as rotation invariance. Then, the learned distance provides a measurement of semantic similarity between a pair of accelerometry time-series, which we use to train our foundation model to model relative relationships across time and across subjects. The foundation model is trained on 1 billion segments from 87,376 participants, and achieves state-of-the-art performance across multiple downstream tasks, including human activity recognition and gait metric regression. To our knowledge, we are the first to show the generalizability of a foundation model with motion data from wearables across distinct evaluation tasks.