TEX-MEX: Similarity-Guided Temporal Contrastive Learning for Time Series

📄 arXiv: 2610.19557v1 📥 PDF

作者: Aditya Radhakrishnan, Maxwell A. Xu, Wanting Mao, Santosh Kumar, Harish Haresamudram, James M. Rehg

分类: cs.LG, cs.AI

发布日期: 2026-10-14

备注: 14 pages, 3 figures, 7 tables

💡 一句话要点

提出TEX-MEX以解决时间序列对比学习中的相似性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列分析 对比学习 结构相似性 时间相似性 深度学习 医疗监测 机器学习

📋 核心要点

  1. 现有的时间序列对比学习方法在相似性判断上存在不足，难以有效处理结构和时间的双重相似性。
  2. TEX-MEX通过编码器识别窗口的结构相似性，并将其与时间相似性结合，形成统一的对比学习框架。
  3. 在多个时间序列数据集上，TEX-MEX实现了对比学习领域的最先进性能，并显著提升了下游任务的效果。

📝 摘要（中文）

对时间序列的对比学习依赖于确定哪些输入对应相似或不相似。由于现有增强方法难以可靠地保留时间序列的意义，之前的方法主要依赖于结构相似性和时间相似性两种不同的相似性概念。本文提出的TEX-MEX是首个将这两者统一为单一关系的方法。通过编码器识别结构相似或不相似的窗口，TEX-MEX将每个窗口拉向时间上相似窗口的偏移版本，并推开与不相似窗口的偏移，学习时间上相似窗口的伴随特征。TEX-MEX在PPG、EEG、ECG、加速度计和连续血糖监测等领域表现出色，达到了对比学习、重构学习、JEPA基础方法和特定模态方法的最佳性能。我们还训练了一个560K参数的PPG基础模型，在多个下游基准测试中表现优异，且其规模约为下一个最佳单模态预训练PPG基础模型的50倍。该基础模型将以开源形式发布，支持未来的研究和实际应用。

🔬 方法详解

问题定义：本文旨在解决时间序列对比学习中如何有效判断相似性的问题。现有方法往往依赖于结构相似性和时间相似性两种不同的概念，导致对比学习效果不佳。

核心思路：TEX-MEX的核心思想是将结构相似性和时间相似性统一为一个关系，通过编码器识别窗口之间的相似性，并在此基础上进行对比学习。这样设计的目的是为了更好地捕捉时间序列数据中的潜在规律。

技术框架：TEX-MEX的整体架构包括数据预处理、编码器模块和对比学习模块。首先，从数据集中随机抽取窗口，然后通过编码器识别窗口的相似性，最后进行拉近和推远操作以优化模型。

关键创新：TEX-MEX的主要创新在于首次将结构相似性和时间相似性结合为一个统一的学习目标，这一方法在对比学习中具有重要的理论和实践意义。

关键设计：在模型设计上，TEX-MEX使用了特定的损失函数来平衡相似窗口的拉近和不相似窗口的推远，同时在网络结构上进行了优化，以适应时间序列数据的特性。具体的参数设置和网络结构细节将在论文中详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

TEX-MEX在PPG、EEG、ECG等多个数据集上实现了最先进的性能，显著优于对比学习、重构学习和特定模态方法。具体而言，所提出的560K参数PPG基础模型在多个下游基准测试中表现优异，其规模仅为下一个最佳模型的50倍，展示了高效性与有效性的结合。

🎯 应用场景

TEX-MEX的研究成果在多个领域具有广泛的应用潜力，包括医疗监测（如心电图、脑电图分析）、运动监测和健康管理等。通过提升时间序列数据的分析能力，该方法能够为实时监测和预警系统提供更为精准的支持，推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Contrastive learning for time series depends on deciding which pairs of inputs should be treated as similar and dissimilar. Because few augmentations reliably preserve meaning in time series, prior methods have relied on two disjoint notions of similarity between windows: structural similarity, which relates windows with similar morphology, and temporal similarity, which relates windows that occur close together in time. We introduce TEX-MEX, to our knowledge the first approach to unify the two into a single relationship. Given a random batch of windows drawn across the dataset, TEX-MEX uses the encoder to identify which windows are structurally similar or dissimilar to each other. It then pulls each window toward the temporally shifted versions of similar windows and pushes it away from those of dissimilar ones, learning what typically accompanies similar windows in time. Across PPG, EEG, ECG, accelerometry, and continuous glucose monitoring, TEX-MEX broadly achieves state-of-the-art performance against contrastive, reconstructive, JEPA-based, and modality-specific approaches, establishing it as a strong general SSL objective. We further train a 560K-parameter PPG foundation model that achieves state-of-the-art performance across a broad range of downstream benchmarks while being roughly 50x smaller than the next-best unimodally pretrained PPG foundation model in our evaluation. We will release this foundation model open-source and open-weight to the community to support future work and practical applications.