Farzi Data: Autoregressive Data Distillation
作者: Noveen Sachdeva, Zexue He, Wang-Cheng Kang, Jianmo Ni, Derek Zhiyuan Cheng, Julian McAuley
分类: cs.LG, cs.AI, cs.CL, cs.IR
发布日期: 2023-10-15
备注: Under review. 23 pages, 9 figures
💡 一句话要点
提出Farzi以优化自回归任务的数据蒸馏
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 数据蒸馏 自回归模型 序列推荐 语言建模 合成序列 优化算法 隐式正则化
📋 核心要点
- 核心问题：现有的数据蒸馏方法在处理自回归任务时，往往无法有效保持模型性能，尤其是在数据量大时。
- 方法要点：Farzi通过生成少量合成序列来优化数据蒸馏过程，确保模型在较小数据集上仍能保持高性能。
- 实验或效果：在序列推荐和语言建模任务中，使用Farzi Data训练的模型性能达到98-120%，仅使用原始数据集的0.1%。
📝 摘要（中文）
我们研究了自回归机器学习任务中的数据蒸馏，其中输入和输出具有严格的从左到右的因果结构。具体而言，我们提出了Farzi，它将事件序列数据集总结为少量合成序列——Farzi Data，这些序列经过优化以保持（甚至提升）模型性能，相较于在完整数据集上训练。Farzi通过（i）利用Hessian-Vector Products推导Adam优化器的高效反向模式微分，以及（ii）将高维离散事件空间分解为潜在空间，从而实现内存高效的数据蒸馏。实验证明，在序列推荐和语言建模任务中，我们能够在仅为原始数据集0.1%大小的Farzi Data上训练出达到98-120%全数据性能的最先进模型。
🔬 方法详解
问题定义：论文要解决自回归机器学习任务中数据蒸馏的效率问题。现有方法在数据量较大时，难以保持模型性能，导致训练效率低下。
核心思路：论文提出Farzi，通过将事件序列数据集压缩为少量合成序列，优化数据蒸馏过程，旨在在较小的数据集上实现与完整数据集相当或更好的模型性能。
技术框架：Farzi的整体架构包括两个主要模块：首先，利用Hessian-Vector Products推导Adam优化器的高效反向模式微分；其次，将高维离散事件空间分解为潜在空间，以促进隐式正则化。
关键创新：Farzi的主要创新在于其内存高效的数据蒸馏方法，通过优化合成序列的生成过程，显著提升了模型在小数据集上的性能，与现有方法相比，能够在更少的数据上训练出更好的模型。
关键设计：在参数设置上，Farzi采用了高效的反向传播算法，并在损失函数中引入了隐式正则化机制，以确保生成的合成序列能够有效代表原始数据集的特征。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用Farzi Data训练的模型在序列推荐和语言建模任务中，性能达到了98-120%的全数据性能，且数据集大小仅为原始数据集的0.1%。这一显著提升展示了Farzi在数据效率上的优势。
🎯 应用场景
该研究的潜在应用领域包括推荐系统、自然语言处理和其他需要处理序列数据的自回归模型。通过优化数据蒸馏过程，Farzi能够在数据稀缺的情况下，依然训练出高性能的模型，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
We study data distillation for auto-regressive machine learning tasks, where the input and output have a strict left-to-right causal structure. More specifically, we propose Farzi, which summarizes an event sequence dataset into a small number of synthetic sequences -- Farzi Data -- which are optimized to maintain (if not improve) model performance compared to training on the full dataset. Under the hood, Farzi conducts memory-efficient data distillation by (i) deriving efficient reverse-mode differentiation of the Adam optimizer by leveraging Hessian-Vector Products; and (ii) factorizing the high-dimensional discrete event-space into a latent-space which provably promotes implicit regularization. Empirically, for sequential recommendation and language modeling tasks, we are able to achieve 98-120% of downstream full-data performance when training state-of-the-art models on Farzi Data of size as little as 0.1% of the original dataset. Notably, being able to train better models with significantly less data sheds light on the design of future large auto-regressive models, and opens up new opportunities to further scale up model and data sizes.