DataOrchestra: Learning to Orchestrate Per-Example Curation of Pretraining Data

📄 arXiv: 2607.24717v1 📥 PDF

作者: Zhen Huang, Yikun Wang, Shijie Xia, Pengfei Liu

分类: cs.CL, cs.AI

发布日期: 2026-07-27

备注: 36 pages

💡 一句话要点

提出DataOrchestra以解决预训练数据处理不适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 预训练数据处理 大型语言模型 示例特定处理 数据清理 机器学习

📋 核心要点

  1. 现有预训练数据处理方法通常采用固定策略，无法针对每个示例的特定需求进行调整，导致性能不佳。
  2. DataOrchestra框架通过协调器为每个示例设计特定的数据处理流程，灵活选择丢弃、保留或清理数据块。
  3. 在11个基准测试中，使用DataOrchestra处理的数据训练的模型表现出稳定的性能提升，且计算效率更高。

📝 摘要（中文）

预训练数据处理对大型语言模型（LLMs）的下游性能至关重要。然而，现有方法通常在语料库或领域层面定义固定的处理策略，并对多个示例统一应用，未能适应每个示例的需求。为此，本文提出了DataOrchestra框架，统一不同的处理操作，并为每个示例编排特定的处理流程。该框架通过一个协调器决定是否丢弃、保留或清理数据块，并在清理时选择一种或多种下游操作，涵盖程序化编辑和不同形式的基于LLM的重写。我们在经过DataOrchestra处理的网络数据上，从零开始预训练了0.5B到7B的模型，并在11个基准测试中观察到相较于单一数据处理方法的稳定平均提升。DataOrchestra在数学继续预训练中也表现出色，超越了更强的处理基线，同时通过跳过不必要的下游操作减少了处理计算。

🔬 方法详解

问题定义：本文旨在解决现有预训练数据处理方法在示例适应性方面的不足，现有方法往往采用固定的处理策略，无法针对每个示例的特定需求进行优化，导致下游任务性能受限。

核心思路：DataOrchestra框架的核心思想是通过一个协调器为每个示例设计特定的数据处理流程，灵活选择丢弃、保留或清理数据块，以适应不同示例的需求。

技术框架：该框架包括多个模块，首先是数据块的接收与评估，然后是协调器的决策过程，最后是具体的清理和重写操作。协调器根据数据块的特性决定后续处理步骤，并生成具体的执行指令。

关键创新：DataOrchestra的主要创新在于其示例特定的处理能力，能够根据每个数据块的特点灵活选择处理策略，与传统的固定策略方法形成鲜明对比。

关键设计：在设计上，协调器使用了多种下游操作，包括程序化编辑和基于LLM的重写，且在每一步重写中生成具体的执行指令，以确保处理的有效性和针对性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在实验中，使用DataOrchestra处理的数据训练的模型在11个基准测试中表现出稳定的平均性能提升，相较于单一数据处理方法，提升幅度显著。此外，该框架在数学继续预训练中超越了更强的处理基线，同时通过跳过不必要的下游操作有效减少了计算资源的消耗。

🎯 应用场景

DataOrchestra框架在大型语言模型的预训练数据处理领域具有广泛的应用潜力。其灵活的处理策略能够显著提升模型在多种下游任务中的性能，尤其是在需要高适应性的场景中，如自然语言处理、文本生成和机器翻译等。未来，该框架可能推动更高效的预训练数据处理方法的研究与应用。

📄 摘要（原文）

Pretraining data processing is critical to the downstream performance of Large Language Models (LLMs). However, many existing approaches define a fixed processing strategy at the corpus or domain level and apply it uniformly to many examples, without adapting to the needs of each example. We propose DataOrchestra, a framework that unifies different processing operations and orchestrates an example-specific pipeline for each example. Given a chunk of pretraining data, an orchestrator decides whether to drop, untouch, or clean it. For a chunk to be cleaned, it selects one or more downstream operations, ranging from programmatic editing to different forms of LLM-based rewriting. For each rewriting step, it further generates a concrete instruction, which is executed by the corresponding downstream tool model. We pretrain models from 0.5B to 7B from scratch on web data processed by DataOrchestra and observe stable average gains over individual data-processing methods across 11 benchmarks. DataOrchestra is also effective for math continued pretraining and outperforms stronger processing baselines, while reducing processing compute by skipping unnecessary downstream operations.