Do Generative Models Keep Time? A Time-Aware Evaluation of Synthetic Sequential Tabular Data
作者: Kiwan Kwon, Kangmin Kim, Hojin Lee, Yeseong Jung, Hyeongwoo Kong, Vamsi K. Potluru, Saerom Park, Yongjae Lee
分类: cs.LG, stat.ML
发布日期: 2026-07-20
💡 一句话要点
提出时间感知评估协议以解决合成序列表格数据的时效性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 合成数据 时间感知评估 隐私保护 序列数据 生成模型 数据共享
📋 核心要点
- 现有的合成序列表格数据生成模型在时间戳处理上存在缺陷，可能导致时间戳倒退或重复，影响数据的真实性。
- 本文提出了一种基于数据特征的时间感知评估协议，能够根据数据集的具体属性选择合适的评估维度。
- 实验结果表明，传统评估与时间评估的结果存在显著差异，强调了时间维度在数据评估中的重要性。
📝 摘要（中文）
合成序列表格数据在隐私保护数据共享中日益重要，但现有生成模型可能产生时间戳倒退或重复等问题，传统的静态评估方法无法识别这些缺陷。本文提出了一种基于分类法的时间感知评估协议，通过四个属性对数据集进行特征化，确保评估维度与数据特性相符。该协议测量时间戳有效性、时间点的横截面结构、实体内动态及时间变化的关系结构，并在轨迹上重新审视效用和隐私评估。通过对八种生成模型在十三个数据集上的应用，发现传统评估与时间评估的排名存在显著差异，强调了在时间轴上直接测量时间保真度的重要性。
🔬 方法详解
问题定义：本文旨在解决合成序列表格数据生成模型在时间戳处理上的不足，现有方法无法有效识别时间倒退或重复等问题，导致评估结果失真。
核心思路：提出了一种基于分类法的时间感知评估协议，通过对数据集的四个属性进行特征化，确保评估维度与数据特性相符，从而更准确地测量时间保真度。
技术框架：该协议首先对数据集进行特征化，评估维度包括时间戳有效性、时间点的横截面结构、实体内动态及时间变化的关系结构，最后在轨迹上进行效用和隐私评估。
关键创新：最重要的创新在于提出了一种动态评估方法，强调在时间轴上直接测量时间保真度，而非依赖于静态的记录分布。
关键设计：评估过程中，关键参数包括时间表示方式、观察是否定期采样、轨迹间的相互依赖性及模式如何将实体与其历史链接等，这些设计确保了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，传统评估方法与时间感知评估方法的排名存在显著差异，尤其在时间动态性方面，时间评估方法能够更准确地反映生成模型的性能，强调了时间维度的重要性。
🎯 应用场景
该研究的潜在应用领域包括医疗数据共享、金融数据分析及智能交通系统等，能够有效提升合成数据的真实性和可靠性，促进隐私保护与数据利用的平衡。未来，随着合成数据应用的普及，时间感知评估协议将成为数据生成与评估的重要标准。
📄 摘要（原文）
Synthetic sequential tabular data are increasingly used for privacy-preserving data sharing, yet a generator can reproduce every marginal and every foreign-key relationship while emitting timestamps that run backwards or repeat, and while sending entities along paths that no real entity followed. Conventional tabular evaluation, which pools records into static distributions, is blind to such failures. We present a taxonomy-guided evaluation protocol for temporal fidelity, in which the applicable measurements are determined by the data rather than fixed in advance. Each dataset is first characterized along four properties: how time is represented, whether observations are regularly sampled, whether trajectories are mutually dependent, and how the schema links entities to their histories. These properties determine which evaluation dimensions are meaningful. The protocol then measures timestamp validity, cross-sectional structure at aligned time points, within-entity dynamics, and time-varying relational structure, and recasts utility and privacy evaluation over trajectories rather than isolated rows. We apply the protocol to eight generative models across thirteen datasets spanning six domains. Rankings under conventional evaluation disagree substantially with those obtained under temporal evaluation, and the resulting failures are architecture-coherent rather than random. Temporal fidelity must therefore be measured on the time axis itself, rather than inferred from pooled record distributions.