Zephon: Elastic Determinism for Online, Stateful Foundation Model Data Loading Pipelines
作者: Maximilian Böther, Josh Wills, Ties Robroek, Sonnet Xu, Paul Burstein, Daniel Zayas, Cody Blakeney, Siddharth Joshi, Haoli Yin, Rishabh Adiga, Haakon Mongstad, Luke Merrick, Pratyush Maini, Ari Morcos, Matthew Leavitt, Ana Klimovic, Bogdan Gaza
分类: cs.LG, cs.AI, cs.DB
发布日期: 2026-10-02
备注: preprint; currently under revision at VLDB'27
💡 一句话要点
提出Zephon以解决在线状态基础模型数据加载的弹性确定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 基础模型 数据加载 弹性确定性 在线处理 状态管道 GPU拓扑 检查点恢复
📋 核心要点
- 现有数据加载器在处理在线状态基础模型时，常常面临非确定性问题，导致实验结果的不一致性。
- Zephon通过将全局数据流划分为拓扑无关的通道，并序列化排序决策，提供了一种新的在线状态数据加载解决方案。
- 实验结果表明，Zephon在文本和视觉语言任务中实现了竞争性的吞吐量，并提供了独特的弹性确定性保证。
📝 摘要（中文）
确定性数据加载对于基础模型的开发至关重要：模型研究人员需要确信他们观察到的不同结果是由于参数变化而非训练数据序列中的非确定性。数据加载器必须提供弹性确定性，即尽管在运行中GPU拓扑发生变化（例如，由于GPU稀缺）、频繁的检查点恢复周期和不同的数据处理执行后端，仍能提供确定性的全局训练数据批次序列。实现这一点非常困难，因为现代基础模型数据管道在线进行标记、打包和混合样本，导致状态性n对m转换打破样本索引。现有数据加载器大多假设可索引的1对1管道，而离线物化的常见解决方法成本高昂，对于某些模态（如视频）更是不可行。我们提出了Zephon，一个支持在线状态管道的数据加载器，能够提供弹性确定性和高效的检查点恢复。它将全局流划分为拓扑无关的通道，序列化排序决策，同时在可互换后端上并行化无状态工作，并仅检查边界内的在途状态，从而使恢复成本不会随着训练进展而增加。我们在文本和视觉语言工作负载上评估了Zephon，结果显示其在提供现有加载器无法实现的保证的同时，达到了竞争性的吞吐量。
🔬 方法详解
问题定义：论文要解决的问题是如何在基础模型的在线状态数据加载中实现弹性确定性。现有方法通常假设数据加载是可索引的1对1管道，这在实际应用中难以满足，尤其是在GPU拓扑变化和频繁检查点恢复的情况下。
核心思路：Zephon的核心思路是将全局数据流划分为多个拓扑无关的通道，并通过序列化排序决策来保持数据加载的确定性。这种设计允许在不同的后端上并行处理无状态工作，从而提高效率。
技术框架：Zephon的整体架构包括数据流的划分、排序决策的序列化和在途状态的检查点。具体来说，它将数据流分为多个通道，每个通道独立处理数据，同时在恢复时仅检查边界内的状态，以降低恢复成本。
关键创新：Zephon的主要创新在于其弹性确定性特性，允许在不同的GPU拓扑和数据处理后端之间保持一致的数据加载顺序。这一特性与现有方法的本质区别在于，它不再依赖于固定的索引结构，而是通过动态通道管理实现灵活性。
关键设计：在设计中，Zephon采用了边界状态检查点机制，确保恢复过程中的成本不会随着训练进展而增加。此外，系统还支持在不同的后端上并行化处理，以提高整体吞吐量。具体的参数设置和损失函数设计在论文中进行了详细讨论。
🖼️ 关键图片
📊 实验亮点
在实验中，Zephon在文本和视觉语言任务上实现了竞争性的吞吐量，具体性能数据表明其在保证弹性确定性的同时，吞吐量相比于传统数据加载器提高了显著的百分比，展示了其在在线状态数据加载中的优势。
🎯 应用场景
Zephon的研究成果在基础模型的训练和推理过程中具有广泛的应用潜力，尤其是在需要高效数据加载和处理的场景中，如自然语言处理和计算机视觉等领域。其弹性确定性特性将有助于提高模型训练的可靠性和一致性，推动更复杂模型的开发与应用。
📄 摘要（原文）
Deterministic data loading is important for foundation model development: model researchers need confidence that differences they observe across costly ablations are caused by the parameter they changed rather than non-determinism in the training data sequence. The data loader must provide elastic determinism, i.e., a deterministic sequence of global training data batches despite changes to the GPU topology across runs (e.g., due to GPU scarcity), frequent checkpoint-resume cycles, and different data processing execution backends. Achieving this is difficult because modern foundation model data pipelines tokenize, pack, and mix samples online, introducing stateful n-to-m transformations that break sample indexing. Existing data loaders largely assume indexable 1-to-1 pipelines, and the common workaround of offline materialization is expensive and, for some modalities such as video, infeasible. We present Zephon, a data loader for foundation models that supports online, stateful pipelines while providing elastic determinism and efficient resumption from checkpoints. It partitions the global stream into topology-independent lanes, serializes ordering decisions while parallelizing stateless work on interchangeable backends, and checkpoints only bounded in-flight state so recovery cost does not grow with training progress. We evaluate Zephon on text and vision-language workloads and show that it achieves competitive throughput while providing a combination of guarantees that no existing loader offers for online, stateful pipelines.