TraXion: Rethinking Pre-training Frameworks for Mobility and Beyond
作者: Shang-Ling Hsu, Mark Tenzer, Cyrus Shahabi, Khurram Shafique
分类: cs.LG
发布日期: 2026-05-07
备注: 31 pages, 2 figures
💡 一句话要点
提出TraXion预训练框架，通过建模多实体时空事件流（MESES）解决移动性及跨领域预测难题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 时空数据挖掘 预训练框架 多实体建模 事件流分析 迁移学习 移动性分析 表示学习
📋 核心要点
- 现有方法将移动轨迹简单类比为自然语言处理中的句子，忽略了移动性数据中位置、时间、活动间的联合分布及用户间的共现依赖关系。
- 论文提出了多实体时空事件流（MESES）概念，并设计了TraXion框架，通过特定的架构与目标函数，显式建模实体间的交互与时空依赖。
- 实验表明，TraXion在六个移动性数据集及企业安全、医疗预测任务中均超越了现有特定任务基线，展现了极强的跨领域泛化能力。
📝 摘要（中文）
人类移动性在结构上不同于文本或通用时间序列：访问是元组值事件，其含义取决于位置、时间和活动的联合分布；用户在轨迹中携带持久特征；且用户间的访问并非独立，因为共享地点的共现是关键信号。现有的移动性预训练方法简单地将轨迹视为句子、访问视为标记，这种类比忽略了上述三个属性。这些属性定义了一类更广泛的“多实体时空事件流”（MESES），涵盖企业认证日志、电子健康记录等领域。本文将这些属性形式化为三个公理，并提出了TraXion框架，其目标函数和架构设计旨在满足这些公理。在六个公共移动性数据集上，单个TraXion检查点在异常检测、POI推荐、访问预测及社交链接预测任务中均优于特定任务基线。该方法在企业日志和ICU死亡率预测中同样表现出色，证明了其在跨领域事件流建模中的通用性。
🔬 方法详解
问题定义：现有移动性预训练方法盲目套用NLP的Transformer架构，未能捕捉移动数据的三个核心特性：位置-时间-活动的联合分布意义、用户行为的持久性特征，以及用户间因共享空间而产生的非独立性。
核心思路：论文将此类数据定义为“多实体时空事件流”（MESES），并提出三个公理作为建模准则。TraXion的核心思想是放弃简单的序列建模，转而通过联合设计架构与目标函数，显式捕获实体间的时空关联与上下文依赖。
技术框架：TraXion采用了一种针对事件流优化的架构，能够同时处理来自不同实体的流数据。它通过统一的预训练配方，将不同领域的事件流映射到共享的表示空间，从而实现跨任务的迁移学习。
关键创新：最重要的创新在于将移动性建模从“序列预测”提升为“多实体时空交互建模”。它不再将访问视为孤立的Token，而是将其视为包含多维属性的事件，并引入了针对共现信号的建模机制。
关键设计：TraXion的设计细节包括针对MESES公理定制的损失函数，以及能够处理异构实体交互的网络结构。通过在预训练阶段引入多任务学习目标，模型能够同时学习到个体行为模式与群体交互规律，从而在下游任务中实现零样本或少样本的优异表现。
🖼️ 关键图片
📊 实验亮点
TraXion在六个公开移动性数据集上，仅凭单一预训练检查点，在异常检测、POI推荐、访问预测及社交链接预测任务中全面超越了针对特定任务优化的基线模型。此外，该方法在企业认证日志和ICU死亡率预测任务中也达到了SOTA水平，验证了其在不同领域间卓越的迁移能力与鲁棒性。
🎯 应用场景
该研究具有广泛的跨领域应用价值。在智慧城市中，可用于精准的POI推荐与交通流量预测；在网络安全领域，可用于识别异常登录行为与威胁检测；在医疗健康领域，可用于患者病情演变预测与ICU死亡率风险评估。其通用性为处理复杂时空事件流提供了统一范式。
📄 摘要（原文）
Human mobility differs from text and from generic time series in three structural ways: visits are tuple-valued events whose meaning depends on the joint distribution over location, time, and activity; users carry persistent signatures across trajectories; and visits are not independent across users, since co-location at shared places is a primary signal. Existing pre-training recipes for mobility import objectives from language modeling, treating trajectories as sentences and visits as tokens, an analogy that fails against each of the three properties above. These properties define a broader class, multi-entity spatiotemporal event streams (MESES), spanning enterprise authentication logs, electronic health records, and other event-stream domains where entities share infrastructure, schedules, or contexts. We make the properties precise as three axioms that any pre-training framework for MESES should satisfy, and introduce TraXion, whose objectives and architecture are jointly designed to meet them. A single TraXion checkpoint per dataset beats task-specific baselines on every task across six public mobility datasets covering anomaly detection, next-POI recommendation, next-visit prediction, and social-link prediction. The same recipe, applied unchanged to enterprise authentication logs and ICU mortality prediction, matches or exceeds prior work on both, showing that event streams from domains as different as mobility, security, and healthcare can be modeled under a single framework.