Trajectory Soup: Pushing the Compute-Scaling Frontier of LLM Mid-training via Diverse Trajectories
作者: Zhehao Huang, Changxin Tian, Qingyuan Yang, Kunlong Chen, Ziqi Liu, Zhiqiang Zhang, Xiaolin Huang, Jun Zhou
分类: cs.LG, cs.AI, cs.CL
发布日期: 2026-09-29
💡 一句话要点
提出Trajectory Soup以提升大语言模型中期训练的计算效率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 中期训练 计算资源分配 轨迹平均化 模型性能提升
📋 核心要点
- 现有中期训练方法在计算资源分配上存在局限，额外的计算往往无法带来显著的性能提升。
- 提出Trajectory Soup方法，通过在多个独立分支上分配中期训练预算，利用轨迹内外的平均化整合最优检查点。
- 实验结果显示，该方法在不同模型规模和预算条件下，均显著提升了下游任务的性能，且随着预算增加效果持续改善。
📝 摘要（中文）
中期训练为预训练的大语言模型赋予了专业化和推理能力，但由于额外的串行计算带来的收益有限，导致这一阶段的计算吸收能力受到实际限制。本文重新审视了计算资源的分配方式，发现从共享检查点分叉的多个分支在参数空间中达到不同的区域。为此，提出了Trajectory Soup方法，将中期训练预算分配到多个独立分支，并通过轨迹内外的平均化方法整合最强检查点。研究表明，该方法在多个模型规模和预算条件下，显著提升了下游任务的整体性能，突破了串行饱和的计算扩展极限。
🔬 方法详解
问题定义：本文旨在解决中期训练阶段计算资源分配不当的问题。现有方法在串行计算中往往无法有效提升模型性能，甚至可能导致能力下降。
核心思路：提出Trajectory Soup方法，通过将中期训练预算分配到多个独立的优化分支，利用不同分支的多样性来探索参数空间，从而获得更好的模型性能。
技术框架：整体流程包括从共享检查点分叉出多个独立分支，进行中期训练，然后通过轨迹内外的平均化方法选择最优检查点，最终整合成一个单一模型。
关键创新：最重要的创新在于引入了轨迹的兼容性多样性，允许不同分支在参数空间中达到不同区域，突破了传统串行训练的限制。
关键设计：在参数设置上，研究了学习率调度、令牌预算和轨迹数量等因素，采用了特定的损失函数和网络结构，以确保在不同条件下的最佳性能。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Trajectory Soup方法在多个模型规模和预算条件下，相较于最强单轨迹平均，整体下游性能提升显著，且随着预算的增加，性能持续改善，展示了其在计算扩展方面的优势。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过提升大语言模型的中期训练效率，Trajectory Soup方法能够为实际应用提供更强的推理能力和专业化表现，推动智能助手和自动化内容生成等技术的发展。
📄 摘要（原文）
Mid-training equips pretrained large language models with specialized and reasoning capabilities, but the returns of this stage are bounded since additional serial compute yields little further downstream improvement and can even degrade some capabilities, which places a practical ceiling on how much compute mid-training absorbs. We revisit how this compute should be allocated to a single run or multiple similar optimizations. We find that branches forked from a shared checkpoint under various controlled recipe reaches measurably different regions of parameter space, and establish a form of compatible diversity that extending one run cannot supply. Therefore, we introduce Trajectory Soup, which distributes a mid-training budget over several independent branches, and consolidates strongest checkpoints selected on validation through intra- and inter-trajectory averaging into a single model. A local bias and variance analysis separates the two averaging levels, showing that inter-trajectory averaging removes residual error beyond the reach of averaging within a trajectory, while checkpoint selection carries a bias that bounds how many checkpoints are worth merging. Across model scales, learning-rate schedules, token budgets, and trajectory counts, Trajectory Soup improves aggregate downstream performance over the strongest single-trajectory average under matched budgets and keeps improving as budgets expand, with the advantage preserved after an identical post-training pipeline. These results position trajectory allocation and merging as a practical way to extend the compute-scaling frontier of mid-training beyond serial saturation.