Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors
作者: Ido Amos, Jonathan Berant, Ankit Gupta
分类: cs.LG, cs.CL
发布日期: 2023-10-04 (更新: 2024-04-28)
💡 一句话要点
提出数据驱动的预训练方法以公平比较长序列模型
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 长序列建模 状态空间模型 Transformer 预训练 性能评估 去噪训练 数据驱动
📋 核心要点
- 现有方法在比较长序列模型时，随机初始化导致架构性能差异的高估，影响评估的可靠性。
- 论文提出通过使用下游任务数据进行预训练，来引入数据驱动的先验知识，从而提升模型性能。
- 实验结果显示，经过适当预训练的Transformer在Long Range Arena上与S4性能相当，并在PathX-256任务上提升了20个绝对点。
📝 摘要（中文）
建模长范围依赖性是机器学习中的一个长期目标，现有的状态空间模型在长序列上表现优于Transformer。然而，随机初始化导致对架构差异的严重高估。本文表明，使用下游任务数据进行标准去噪预训练，可以显著提升多种架构的性能，并缩小Transformer与状态空间模型之间的差距。我们发现，经过适当预训练的Transformer在Long Range Arena上与S4的性能相当，并在PathX-256任务上将SSM的最佳结果提升了20个绝对点。我们的研究强调了在监督任务中，数据驱动的先验知识对于可靠性能评估的重要性。
🔬 方法详解
问题定义：本文旨在解决在长序列模型比较中，随机初始化导致的性能差异高估问题。现有方法未能有效利用预训练，从而影响了模型的真实表现。
核心思路：论文的核心思路是通过在下游任务数据上进行标准去噪预训练，来引入数据驱动的先验知识，从而提升模型的性能和评估的可靠性。
技术框架：整体架构包括数据预处理、模型预训练和性能评估三个主要阶段。首先对下游任务数据进行处理，然后进行模型的预训练，最后在标准基准上进行性能评估。
关键创新：最重要的技术创新在于证明了数据驱动的预训练能够显著提升Transformer和状态空间模型的性能，尤其是在长序列任务中，这与以往随机初始化的比较方法有本质区别。
关键设计：在预训练阶段，采用标准的去噪损失函数，并使用下游任务数据进行训练，确保模型能够有效学习到长范围依赖性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，经过适当预训练的Transformer在Long Range Arena上与S4的性能相当，且在PathX-256任务上将状态空间模型的最佳结果提升了20个绝对点，显示了预训练的重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、时间序列预测和任何需要处理长序列数据的任务。通过引入数据驱动的预训练方法，可以显著提升模型在实际应用中的表现，具有重要的实际价值和未来影响。
📄 摘要（原文）
Modeling long-range dependencies across sequences is a longstanding goal in machine learning and has led to architectures, such as state space models, that dramatically outperform Transformers on long sequences. However, these impressive empirical gains have been by and large demonstrated on benchmarks (e.g. Long Range Arena), where models are randomly initialized and trained to predict a target label from an input sequence. In this work, we show that random initialization leads to gross overestimation of the differences between architectures and that pretraining with standard denoising objectives, using $\textit{only the downstream task data}$, leads to dramatic gains across multiple architectures and to very small gaps between Transformers and state space models (SSMs). In stark contrast to prior works, we find vanilla Transformers to match the performance of S4 on Long Range Arena when properly pretrained, and we improve the best reported results of SSMs on the PathX-256 task by 20 absolute points. Subsequently, we analyze the utility of previously-proposed structured parameterizations for SSMs and show they become mostly redundant in the presence of data-driven initialization obtained through pretraining. Our work shows that, when evaluating different architectures on supervised tasks, incorporation of data-driven priors via pretraining is essential for reliable performance estimation, and can be done efficiently.