Large Model for Small Data: Foundation Model for Cross-Modal RF Human Activity Recognition

📄 arXiv: 2410.19766v1 📥 PDF

作者: Yuxuan Weng, Guoquan Wu, Tianyue Zheng, Yanbing Yang, Jun Luo

分类: cs.CV, cs.LG, eess.SP

发布日期: 2024-10-13

💡 一句话要点

提出FM-Fi框架，利用视觉基础模型提升小样本射频人体活动识别性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 射频感知 人体活动识别 跨模态学习 知识蒸馏 基础模型 零样本学习 少样本学习

📋 核心要点

  1. 射频人体活动识别面临标注数据稀缺的挑战，现有方法难以有效利用无标签数据。
  2. FM-Fi框架通过跨模态对比知识蒸馏，将视觉基础模型的知识迁移到射频领域，实现零样本学习。
  3. 实验表明，FM-Fi的性能可与基于视觉的方法相媲美，并在不同环境中具有良好的泛化能力。

📝 摘要（中文）

基于射频(RF)的人体活动识别(HAR)在计算机视觉技术难以应用的场景中展现出潜力。然而，由于射频数据难以解释，导致标注数据稀缺，成为主要障碍。受益于基础模型(FMs)的最新突破，从无标签视觉数据中提取深层语义信息成为可能，但这些基于视觉的FMs在应用于小型射频数据集时效果不佳。为了弥合这一差距，我们引入了FM-Fi，这是一个创新的跨模态框架，旨在转化视觉基础模型的知识，以增强基于射频的HAR系统。FM-Fi包含一种新颖的跨模态对比知识蒸馏机制，使射频编码器能够继承FMs的解释能力，从而实现零样本学习。它还利用FM和RF的内在能力来消除无关特征，从而更好地对齐两种模态。该框架通过基于度量的少样本学习技术进一步完善，旨在提高预定义HAR任务的性能。全面的评估清楚地表明，FM-Fi的有效性可与基于视觉的方法相媲美，并且评估结果提供了FM-Fi在各种环境中具有通用性的经验验证。

🔬 方法详解

问题定义：论文旨在解决射频(RF)人体活动识别(HAR)中，由于标注数据稀缺导致模型性能受限的问题。现有方法难以有效利用大规模无标签视觉数据中蕴含的知识，尤其是在小样本射频数据集上表现不佳。因此，如何将视觉基础模型(FMs)的知识迁移到射频领域，提升射频HAR系统的性能，是本文要解决的核心问题。

核心思路：论文的核心思路是利用跨模态对比知识蒸馏，将视觉基础模型学习到的语义信息迁移到射频编码器中。通过这种方式，射频编码器可以获得对射频信号的解释能力，从而在小样本甚至零样本的情况下实现有效的人体活动识别。此外，论文还利用FM和RF的内在能力来消除无关特征，从而更好地对齐两种模态。

技术框架：FM-Fi框架主要包含以下几个模块：1) 视觉基础模型(FM)：用于提取视觉数据的深层语义特征。2) 射频编码器：用于将射频信号编码成特征向量。3) 跨模态对比知识蒸馏模块：通过对比学习的方式，将视觉基础模型的知识迁移到射频编码器中。4) 特征对齐模块：利用FM和RF的内在能力来消除无关特征，从而更好地对齐两种模态。5) 少样本学习模块：通过基于度量的少样本学习技术，进一步提升预定义HAR任务的性能。

关键创新：论文的关键创新在于提出了跨模态对比知识蒸馏机制，该机制能够有效地将视觉基础模型的知识迁移到射频编码器中，从而解决了射频数据标注稀缺的问题。此外，论文还提出了特征对齐模块，通过消除无关特征，进一步提升了跨模态知识迁移的效果。

关键设计：在跨模态对比知识蒸馏模块中，论文采用了对比损失函数，鼓励射频编码器学习与视觉基础模型相似的特征表示。在特征对齐模块中，论文利用了FM和RF的内在能力，例如，通过注意力机制来选择重要的特征。在少样本学习模块中，论文采用了基于度量的学习方法，例如，原型网络或匹配网络，以实现快速的少样本学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FM-Fi框架在射频人体活动识别任务上取得了显著的性能提升。在零样本学习场景下，FM-Fi的性能优于现有的射频HAR方法。在少样本学习场景下，FM-Fi的性能与基于视觉的方法相媲美，甚至在某些情况下超过了基于视觉的方法。这些结果验证了FM-Fi框架的有效性和泛化能力。

🎯 应用场景

该研究成果可应用于智能家居、健康监测、安全监控等领域。例如，无需摄像头，仅通过射频信号即可识别老年人的跌倒行为，及时发出警报。此外，该技术还可用于监测工厂工人的工作状态，提高生产效率和安全性。未来，该技术有望在更多隐私敏感的场景中发挥重要作用。

📄 摘要（原文）

Radio-Frequency (RF)-based Human Activity Recognition (HAR) rises as a promising solution for applications unamenable to techniques requiring computer visions. However, the scarcity of labeled RF data due to their non-interpretable nature poses a significant obstacle. Thanks to the recent breakthrough of foundation models (FMs), extracting deep semantic insights from unlabeled visual data become viable, yet these vision-based FMs fall short when applied to small RF datasets. To bridge this gap, we introduce FM-Fi, an innovative cross-modal framework engineered to translate the knowledge of vision-based FMs for enhancing RF-based HAR systems. FM-Fi involves a novel cross-modal contrastive knowledge distillation mechanism, enabling an RF encoder to inherit the interpretative power of FMs for achieving zero-shot learning. It also employs the intrinsic capabilities of FM and RF to remove extraneous features for better alignment between the two modalities. The framework is further refined through metric-based few-shot learning techniques, aiming to boost the performance for predefined HAR tasks. Comprehensive evaluations evidently indicate that FM-Fi rivals the effectiveness of vision-based methodologies, and the evaluation results provide empirical validation of FM-Fi's generalizability across various environments.