TimeCap: A Scalable Open-Source Pipeline for Captioning Wearable Health Time-Series Data

📄 arXiv: 2610.21274v1 📥 PDF

作者: Max Rosenblattl, Milana Gurbanova, Karl Aurel Deck, Narayan Schuetz, Thomas Kaar, Manuel Milling, Nicolas Zumarraga, Ning Wang, Kelly W. Zhang, Anders Johnson, Robert Jakob, Björn W. Schuller, Elgar Fleisch, Daniel Seung Kim, Allan Lawrie, Patrick Langer, Maxwell A. Xu, Euan Ashley, Paul Schmiedmayer

分类: cs.LG, cs.CL

发布日期: 2026-10-15

备注: 46 pages, 27 figures, including supplementary material. Code: https://github.com/SchmiedmayerLab/TimeCAP

💡 一句话要点

提出TimeCap以解决可穿戴健康时间序列数据标注问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 时间序列分析 可穿戴设备 多模态数据 开源工具 健康监测

📋 核心要点

  1. 现有的时间序列数据标注方法缺乏可再生的信号基础文本对，限制了其扩展性和可审计性。
  2. TimeCap通过提供一个开源的确定性标注管道，直接在信号上进行处理，解决了现有方法的局限性。
  3. 在MHCap数据集上训练的OpenTSLM模型，标注增强训练在多个任务中超越了传统的标签基线，显示出显著的性能提升。

📝 摘要（中文）

随着工业、环境和健康领域不断生成的时间序列数据，其多模态信号的规模和异质性使得处理和解释变得尤为困难。时间序列语言模型（TSLMs）有望实现这些信号的可扩展解释，但由于缺乏信号基础、可再生且跨模态和模式的文本注释时间序列对，现有方法受到限制。为此，本文提出了TimeCap，一个开源的确定性标注管道，具有三个可重用的提取器层和一个跨通道合成层，直接在信号上操作，无需语言模型。通过将TimeCap应用于OpenMHC可穿戴数据集，生成了MHCap，这是最大的开放式多模态可穿戴时间序列数据标注层，包含超过700万条标注。通过在MHCap上训练时间序列语言模型OpenTSLM，结果表明，标注增强训练在32个用户二元评估任务中表现优于仅使用标签的基线。

🔬 方法详解

问题定义：本文旨在解决可穿戴健康时间序列数据的标注问题，现有方法由于缺乏可再生的文本注释对，导致数据集扩展性差和审计困难。

核心思路：论文提出的TimeCap管道通过三个可重用的提取器层和一个跨通道合成层，直接在信号上进行标注，避免了依赖语言模型，从而实现了可再生和可扩展的标注过程。

技术框架：TimeCap的整体架构包括信号提取、特征合成和标注生成三个主要模块。提取器层负责从原始信号中提取特征，合成层则将这些特征整合以生成最终的标注。

关键创新：TimeCap的最大创新在于其开源的确定性标注机制，使得用户可以通过简单的通道定义扩展到新的模式，而不需要重新训练语言模型。

关键设计：在设计上，TimeCap采用了模块化的结构，允许用户灵活定义通道，且在标注生成过程中使用了高效的特征提取算法，确保了标注的准确性和一致性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在MHCap数据集上，使用OpenTSLM进行标注增强训练的模型在32个用户的二元评估任务中，有29个任务的表现超越了仅使用标签的基线，显示出显著的性能提升，证明了TimeCap的有效性。

🎯 应用场景

TimeCap的研究成果可广泛应用于健康监测、运动分析和个性化医疗等领域。通过提供可再生的标注数据集，研究人员和开发者可以更有效地训练和评估时间序列模型，从而推动健康数据分析的进步。

📄 摘要（原文）

Time-series data generated continuously across industrial, environmental, and especially health domains produce multimodal signals whose scale and heterogeneity make their processing and interpretation particularly challenging. Time-Series Language Models (TSLMs) promise scalable interpretation of these signals, yet remain bottlenecked by a fundamental lack of text-annotated time series pairs that are signal-grounded, reproducible, and extensible across modalities and schemas. Existing paired corpora are either closed or limited in scale and modality coverage. Annotation with large language models could scale them up, but its outputs cannot be regenerated exactly, which prevents others from re-deriving, extending, or auditing the resulting corpus. To address this, we release TimeCap, an open deterministic captioning pipeline with three reusable extractor tiers and a cross-channel synthesis layer that operates directly on the signal with no language model in the loop, extensible to new schemas by writing channel definitions alone. This positions TimeCap as a reproducible mechanism for future dataset generation rather than a one-off release. Applying TimeCap to OpenMHC, the MyHeart Counts wearable dataset, yields MHCap, the largest open caption layer for multimodal wearable time-series data. MHCap spans 19 Apple HealthKit channels and 7,005,763 captions over 908,944 person-days. To showcase the impact of the corpus, we train OpenTSLM, a time-series language model, on MHCap and benchmark on health-outcome prediction. Caption-augmented training (OpenTSLM-Cap) outperforms a label-only baseline on 29 of 32 per-user binary evaluations across 8 tasks.