What Egocentric Video Embeddings Encode and How to Combine Them with Inertial Sensors for Human Activity Recognition

📄 arXiv: 2610.12926v1 📥 PDF

作者: Kansuke Habano

分类: cs.CV

发布日期: 2026-10-09

备注: 31 pages, 11 figures, 11 tables. Solution to the 3rd WEAR Dataset Challenge @ HASCA 2026

💡 一句话要点

提出结合自我中心视频与惯性传感器的人类活动识别方法

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心视频 惯性传感器 人类活动识别 多模态融合 视频图传播 深度学习 运动分析

📋 核心要点

  1. 现有方法对自我中心视频嵌入的理解不足，尤其是如何与惯性传感器数据结合以提高人类活动识别的准确性。
  2. 论文提出了一种新方法，通过分析视频嵌入与惯性传感器信号的结合，利用头部方向和场景布局来增强活动识别性能。
  3. 实验结果显示，使用视频图传播惯性预测可以显著提高识别性能，宏观F1分数从0.648提升至0.852，证明了方法的有效性。

📝 摘要（中文）

自我中心视频与身体佩戴的惯性传感器越来越多地一起记录，而视频通常由预训练模型编码。本文探讨了当摄像头位于头部时，这些嵌入表示的内容，以及如何将其与惯性传感器结合。通过对VideoMAEv2、CLIP、DINOv2和自我中心VC-1的分析，发现嵌入的主要方向受摄像头视角主导。头部方向在Ego-Exo4D数据集上能够解释这些方向，但在外部摄像头上则不然。实验表明，肢体的惯性信号能够区分不同个体的活动，并在同一参与者内区分锻炼集。通过在视频图上传播惯性预测，宏观F1分数从0.648提升至0.852。

🔬 方法详解

问题定义：本文旨在解决自我中心视频嵌入在与惯性传感器结合时的有效性不足，现有方法未能充分利用两者的互补信息。

核心思路：通过分析视频嵌入的主导方向与头部方向的关系，结合惯性传感器数据，提出了一种新的活动识别框架，以提高识别的准确性和鲁棒性。

技术框架：整体架构包括视频嵌入提取、惯性信号处理和跨模态融合三个主要模块。首先提取自我中心视频的嵌入，然后处理肢体的惯性信号，最后通过传播机制在视频图上进行融合。

关键创新：最重要的创新在于提出了通过视频图传播惯性预测的方法，能够有效提升活动识别性能，尤其是在同一参与者内的活动区分上。

关键设计：在模型设计中，采用了特定的损失函数来平衡视频和惯性信号的影响，同时在传播过程中随机选择一个肢体的信号，以减少冗余信息对识别的影响。实验中使用了多个数据集进行验证，确保了方法的普适性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，采用视频图传播惯性预测的方式，宏观F1分数从0.648提升至0.852，显著提高了活动识别的准确性。此外，方法在同一参与者内的锻炼集区分上表现出色，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括智能家居监控、健康监测和运动分析等。通过结合自我中心视频与惯性传感器的数据，能够更准确地识别和分析人类活动，提升用户体验和安全性，未来可能在智能穿戴设备中得到广泛应用。

📄 摘要（原文）

Egocentric video and body-worn inertial sensors are increasingly recorded together, and the video is usually encoded by pretrained models. What these embeddings represent when the camera sits on the head, and how they should be combined with inertial sensing, has received little attention. Across VideoMAEv2, CLIP, DINOv2 and the egocentric VC-1, the leading principal directions of the embedding are dominated by where the camera looks. Measured head orientation explains them on Ego-Exo4D for egocentric (R^2 0.49-0.70) but not exocentric cameras, and the scene layout explains them on WEAR. The part that the limbs' inertial signals predict separates activities across people. In a set-level probe, the rest separates exercise sets within a participant but not activities across people. This is consistent with separate roles: the video finds the clips of the same set, and the inertial classifier labels them. On WEAR, with temporal order removed and one random limb per one-second clip, we propagate inertial predictions over a within-participant video graph whose leading components are removed. This raises subject-wise cross-validated macro-F1 from 0.648 to 0.852. In our comparisons, propagation helps only over the video graph, and fusing the modalities in one classifier, or adding inertial edges to the graph, performs worse.