STaRFormer: Semi-Supervised Task-Informed Representation Learning via Dynamic Attention-Based Regional Masking for Sequential Data

📄 arXiv: 2504.10097v3 📥 PDF

作者: Maximilian Forstenhäusler, Daniel Külzer, Christos Anagnostopoulos, Shameem Puthiya Parambath, Natascha Weber

分类: cs.LG

发布日期: 2025-04-14 (更新: 2025-11-30)

备注: Accepted to NeurIPS 2025

💡 一句话要点

STaRFormer：基于动态注意力区域掩码的半监督任务感知序列数据表征学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation)

关键词: 序列建模 Transformer 注意力机制 半监督学习 对比学习

📋 核心要点

  1. 现实场景中时空序列数据建模面临非平稳和不规则采样数据的挑战，现有方法难以有效应对。
  2. STaRFormer通过动态注意力区域掩码和半监督对比学习，增强任务特定潜在表征，提升模型性能。
  3. 在56个数据集上的实验表明，STaRFormer在各种序列建模任务中均优于现有技术水平的方法。

📝 摘要（中文）

本文提出STaRFormer，一种基于Transformer的通用序列建模框架，旨在解决智能设备用户在车辆附近的行为意图预测问题，该问题涉及对时空序列数据进行建模。现实场景中，环境因素和传感器限制会导致非平稳和不规则采样数据，带来显著挑战。STaRFormer采用一种新的动态注意力区域掩码方案，并结合一种新颖的半监督对比学习范式，以增强任务特定的潜在表征。在包含56个数据集的综合实验中，这些数据集在类型（包括非平稳和不规则采样）、任务、领域、序列长度、训练样本和应用方面各不相同，实验结果表明STaRFormer的有效性，与最先进的方法相比取得了显著的改进。

🔬 方法详解

问题定义：论文旨在解决智能设备用户在车辆附近的行为意图预测问题，该问题需要对时空序列数据进行建模。现实场景中，传感器限制和环境因素导致数据呈现非平稳和不规则采样的特点，使得传统的序列建模方法难以有效提取用户意图，导致预测精度下降。

核心思路：论文的核心思路是利用Transformer强大的序列建模能力，并通过动态注意力区域掩码和半监督对比学习来增强模型对非平稳和不规则采样数据的鲁棒性，同时提升任务相关的表征学习能力。动态注意力区域掩码能够使模型关注重要的时空区域，而半监督对比学习则利用未标注数据来提升模型的泛化能力。

技术框架：STaRFormer的整体框架基于Transformer架构，主要包含以下几个模块：输入嵌入层、Transformer编码器层、动态注意力区域掩码模块和半监督对比学习模块。输入嵌入层将时空序列数据转换为向量表示，Transformer编码器层提取序列特征，动态注意力区域掩码模块根据注意力权重动态地屏蔽不重要的区域，半监督对比学习模块利用对比损失来学习更好的表征。

关键创新：论文的关键创新在于提出了动态注意力区域掩码和半监督对比学习相结合的方法。动态注意力区域掩码能够自适应地关注重要的时空区域，从而提高模型对噪声和冗余信息的鲁棒性。半监督对比学习则利用未标注数据来提升模型的泛化能力，尤其是在标注数据稀缺的情况下。与现有方法相比，STaRFormer能够更有效地处理非平稳和不规则采样数据，并学习到更具判别性的任务相关表征。

关键设计：动态注意力区域掩码模块根据Transformer编码器层输出的注意力权重，计算每个区域的重要性得分，并根据得分动态地屏蔽不重要的区域。半监督对比学习模块采用InfoNCE损失函数，通过最大化正样本对之间的相似性，最小化负样本对之间的相似性，来学习更好的表征。具体的参数设置包括Transformer编码器层的层数、注意力头的数量、隐藏层维度等，这些参数需要根据具体的数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

STaRFormer在56个数据集上进行了广泛的实验，涵盖了不同类型、任务、领域和序列长度的数据。实验结果表明，STaRFormer在各种序列建模任务中均优于现有技术水平的方法，尤其是在非平稳和不规则采样数据上表现出更强的鲁棒性。相较于基线模型，STaRFormer在多个数据集上取得了显著的性能提升。

🎯 应用场景

STaRFormer可应用于智能交通、智能家居、可穿戴设备等领域，用于预测用户行为意图、异常检测、设备状态监控等。例如，在智能交通领域，可以预测驾驶员的驾驶意图，从而提高驾驶安全性；在智能家居领域，可以预测用户的行为习惯，从而提供个性化的服务。该研究具有重要的实际价值，有助于提升人机交互的智能化水平。

📄 摘要（原文）

Understanding user intent is essential for situational and context-aware decision-making. Motivated by a real-world scenario, this work addresses intent predictions of smart device users in the vicinity of vehicles by modeling sequential spatiotemporal data. However, in real-world scenarios, environmental factors and sensor limitations can result in non-stationary and irregularly sampled data, posing significant challenges. To address these issues, we propose STaRFormer, a Transformer-based approach that can serve as a universal framework for sequential modeling. STaRFormer utilizes a new dynamic attention-based regional masking scheme combined with a novel semi-supervised contrastive learning paradigm to enhance task-specific latent representations. Comprehensive experiments on 56 datasets varying in types (including non-stationary and irregularly sampled), tasks, domains, sequence lengths, training samples, and applications demonstrate the efficacy of STaRFormer, achieving notable improvements over state-of-the-art approaches.