Self-Supervised Dynamical System Representations for Physiological Time-Series

📄 arXiv: 2512.00239v1 📥 PDF

作者: Yenho Chen, Maxwell A. Xu, James M. Rehg, Christopher J. Rozell

分类: cs.LG, stat.ML

发布日期: 2025-11-28

💡 一句话要点

提出PULSE，利用自监督动态系统表征学习生理时间序列，提升泛化性和标签效率。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 自监督学习 生理时间序列 动态系统 表征学习 交叉重建

📋 核心要点

  1. 现有生理时间序列自监督学习方法依赖启发式规则或生成模型，无法有效区分生理状态信息和噪声。
  2. PULSE框架利用动态系统生成模型，通过交叉重建目标提取共享的系统参数信息，过滤样本特有噪声。
  3. 实验表明，PULSE在合成数据和真实生理数据上均表现出色，提升了分类精度、标签效率和迁移学习效果。

📝 摘要（中文）

针对生理时间序列的自监督学习(SSL)效果依赖于预训练目标在过滤无关噪声的同时，保留底层生理状态信息的能力。现有方法受限于启发式原则或约束不足的生成任务。为解决此问题，我们提出了一个预训练框架，该框架利用跨多个时间序列的动态系统生成模型的信息结构。该框架揭示了我们的关键见解：可以通过提取与相似时间序列样本共享的系统参数相关的生成变量的信息来有效地捕获类身份，而应该丢弃特定于单个样本的噪声。基于此，我们提出PULSE，一种基于交叉重建的生理时间序列数据集预训练目标，它显式提取系统信息，同时丢弃不可转移的样本特定信息。我们建立了理论，为系统信息的恢复提供了充分条件，并使用合成动态系统实验对其进行了经验验证。此外，我们将我们的方法应用于各种真实世界数据集，证明PULSE学习的表征可以广泛区分语义类，提高标签效率并改善迁移学习。

🔬 方法详解

问题定义：生理时间序列的自监督学习旨在学习与底层生理状态相关的表征，但现有方法难以有效区分与生理状态相关的信号和噪声。现有方法或者依赖于启发式规则，或者使用约束不足的生成模型，导致学习到的表征泛化能力不足，对噪声敏感。

核心思路：论文的核心思路是利用动态系统生成模型来建模生理时间序列，并假设相似的生理状态对应于共享的系统参数。通过设计一个预训练目标，鼓励模型学习这些共享的系统参数，同时忽略样本特有的噪声，从而提高表征的泛化能力。

技术框架：PULSE框架包含以下主要步骤：1) 使用动态系统生成模型对生理时间序列进行建模。2) 设计一个基于交叉重建的预训练目标，该目标鼓励模型从一个时间序列中提取系统参数，并使用这些参数重建另一个相似的时间序列。3) 使用学习到的表征进行下游任务，如分类、标签预测等。

关键创新：PULSE的关键创新在于其基于交叉重建的预训练目标，该目标显式地提取与系统参数相关的生成变量的信息，同时丢弃样本特有的噪声。这种方法能够更有效地学习与生理状态相关的表征，提高模型的泛化能力。与现有方法相比，PULSE不需要人工设计的启发式规则，也不依赖于约束不足的生成模型。

关键设计：PULSE的关键设计包括：1) 使用循环神经网络（RNN）作为编码器和解码器，以处理时间序列数据。2) 设计一个对比损失函数，鼓励模型学习相似时间序列的共享表征，同时区分不同时间序列的表征。3) 使用数据增强技术，如时间扭曲和幅度缩放，以提高模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在合成动态系统实验中，PULSE验证了其恢复系统信息的能力。在真实生理数据集上，PULSE在分类任务中优于现有自监督学习方法，标签效率显著提升，仅需少量标注数据即可达到较高的分类精度。此外，PULSE学习到的表征在迁移学习任务中也表现出更好的性能。

🎯 应用场景

该研究成果可应用于各种生理信号分析场景，例如心电图(ECG)分析、脑电图(EEG)分析、睡眠分期等。通过学习更鲁棒的生理状态表征，可以提高疾病诊断的准确性，降低对大量标注数据的依赖，并促进个性化医疗的发展。该方法还可以扩展到其他类型的时序数据分析任务中。

📄 摘要（原文）

The effectiveness of self-supervised learning (SSL) for physiological time series depends on the ability of a pretraining objective to preserve information about the underlying physiological state while filtering out unrelated noise. However, existing strategies are limited due to reliance on heuristic principles or poorly constrained generative tasks. To address this limitation, we propose a pretraining framework that exploits the information structure of a dynamical systems generative model across multiple time-series. This framework reveals our key insight that class identity can be efficiently captured by extracting information about the generative variables related to the system parameters shared across similar time series samples, while noise unique to individual samples should be discarded. Building on this insight, we propose PULSE, a cross-reconstruction-based pretraining objective for physiological time series datasets that explicitly extracts system information while discarding non-transferrable sample-specific ones. We establish theory that provides sufficient conditions for the system information to be recovered, and empirically validate it using a synthetic dynamical systems experiment. Furthermore, we apply our method to diverse real-world datasets, demonstrating that PULSE learns representations that can broadly distinguish semantic classes, increase label efficiency, and improve transfer learning.