Local Temporal Contrasts on Human Motion Data Induce a Latent Geometry
作者: Lourenço A. Rodrigues, Felix Putze
分类: cs.LG
发布日期: 2026-10-15
备注: 15 pages, 3 figures, under review
💡 一句话要点
提出SemTAC以解决人类运动数据表示中的几何结构问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 时间序列分析 人类动作识别 对比学习 几何结构 深度学习
📋 核心要点
- 现有的基于注意力的编码器和序列级池化方法忽视了时间序列的几何结构，导致推理效果不佳。
- 论文提出SemTAC模型，通过时间邻域对比损失直接恢复几何结构，增强了表示的全局一致性。
- 实验结果表明，SemTAC在不完整序列上的F1值显著高于基线模型，展示了其在时间序列理解中的优势。
📝 摘要（中文）
时间序列如人类运动数据的记录通常在多个时间尺度上编码结构。当决定序列的潜在状态演变时，这种结构需要在表示空间中得以保留。当前流行的基于注意力的编码器与序列级池化方法使得单向量、逐点比较成为默认推理模式，忽略了序列在表示空间中所描绘的轨迹。我们提出了一种直接恢复几何结构的方法，通过训练一个编码器模型（SemTAC），使用时间邻域对比损失：在各处满足局部一致性的表示必须产生一致的全局结构，从而使推理能够在训练期间未见的时间尺度上进行。我们在五步运动序列区分任务上评估SemTAC，结果显示其在不完整序列上的表现优于四个基线模型。
🔬 方法详解
问题定义：论文要解决的问题是如何在时间序列表示中保留几何结构，现有方法通过单点比较忽视了序列的轨迹，导致信息损失。
核心思路：论文的核心思路是通过引入时间邻域对比损失，确保在局部一致性的基础上形成全局一致的表示结构，从而增强模型在未见时间尺度上的推理能力。
技术框架：SemTAC模型的整体架构包括输入层、编码器、时间邻域对比损失计算模块和输出层，重点在于如何通过对比损失优化表示的几何结构。
关键创新：最重要的技术创新点在于提出了时间邻域对比损失，这一方法与传统的分类或标准对比损失方法本质上不同，能够更好地捕捉时间序列的几何特征。
关键设计：在模型设计中，采用了特定的超参数设置以匹配基线模型，并引入了位移平滑度度量来评估表示的几何结构。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SemTAC在不完整序列上的F1值达到0.77，而四个基线模型的F1值仅为0.27至0.70，展示了其在处理不完整数据时的显著优势。此外，SemTAC的表示轨迹展现出可解释的几何结构，超越了无结构基线的表现。
🎯 应用场景
该研究的潜在应用领域包括人类动作识别、行为预测和视频分析等。通过提高时间序列数据的表示能力，SemTAC可以在智能监控、虚拟现实和人机交互等领域发挥重要作用，推动相关技术的发展与应用。
📄 摘要（原文）
Time series such as recordings of human motion data often encode structure across multiple temporal scales, and when a latent state determining this sequence evolves, this structure needs to survive in the representation space for downstream use. Yet the currently prevalent attention-based encoders paired with sequence-level pooling have made single-vector, pointwise comparison the default mode of inference, discarding the trajectory a sequence traces through the representation space. We propose recovering this geometric structure directly, without relying on forecasting-based objectives, by training an encoder model (SemTAC) with a temporal-neighborhood contrastive loss: representations that satisfy local consistency everywhere must give rise to a coherent global structure, letting inference happen at temporal scales beyond those seen during training. We evaluate SemTAC against four baselines on a five-step motion sequence discrimination task: the same architecture trained with a classification or a standard contrastive objective, and two established self-supervised time-series methods, TS-TCC and TS2Vec. At the full sequence length all five are broadly competitive, but on incomplete, truncated sequences SemTAC holds a large advantage: a median F1 of 0.77 one step before the sequence completes, against 0.27-0.70 for the four baselines. A hyperparameter-matched ablation attributes this effect specifically to the temporal-contrastive objective. SemTAC's representation trajectories are also the only ones among these five to exhibit interpretable geometric structures, exceeding a no-structure chance baseline on a displacement-smoothness metric which we introduce. This is evidence that its objective, not classification accuracy alone, produces genuinely temporally-ordered trajectories.