How to scale your HEP ML models: A recipe for robust architecture comparisons at scale
作者: Matthias Vigl, Nikita Pond, Jackson Barr, Alexander Froch, Dan Guest, Nicole Hartman, Michael Kagan, Lukas Heinrich
分类: hep-ex, cs.LG, hep-ph, physics.data-an
发布日期: 2026-10-05
备注: 40 pages, 60 figures, 7 tables
💡 一句话要点
提出系统化方法以优化高能物理机器学习模型的规模比较
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 高能物理 机器学习 规模法则 模型优化 多任务学习 数据集分析 超参数调优
📋 核心要点
- 现有方法在高能物理领域缺乏系统化的规模比较，导致模型性能预测不准确。
- 论文提出了一种系统化程序，能够推导稳健的规模法则并比较不同设计选择。
- 通过在ATLAS JetSet2数据集上的实验，首次预测了多个超参数的联合最优值，显著降低了分类损失。
📝 摘要（中文）
近年来，机器学习领域的进展主要得益于规模法则，这些法则预测了训练努力与性能之间的关系。在高能物理（HEP）领域，类似的行为也得到了观察。为进一步研究，我们提出了一种系统化程序，以推导稳健的规模法则，并在HEP任务的相关预算轴上比较设计选择。我们首先在玩具问题上验证了完整的规模轨迹，然后将该程序应用于约110亿喷流的ATLAS JetSet2数据集上的多任务变换器，涵盖计算和数据受限的情况。我们首次预测了在早停下的联合最优模型大小、训练时间、学习率和批量大小。在计算最优的规模下，我们发现模型和数据集大小近乎呈$ ext{sqrt{C}}$依赖关系，辅助目标在相同计算预算下降低了主要喷流分类损失。将输入扩展到低层数据系统性地降低了损失，同时几乎不改变规模指数。数据集大小低于阈值时，损失对高计算规模的影响较小，强调了大规模高质量全模拟数据集在规模研究和HEP基础模型开发中的重要性。
🔬 方法详解
问题定义：本论文旨在解决高能物理领域中机器学习模型规模比较的系统性不足，现有方法无法有效预测模型性能与训练努力之间的关系。
核心思路：论文提出了一种系统化的程序，通过验证完整的规模轨迹，比较不同设计选择在预算轴上的表现，以优化模型性能。
技术框架：整体架构包括数据集准备、模型设计、超参数优化和性能评估四个主要模块。首先在玩具问题上验证规模法则，然后应用于实际的ATLAS JetSet2数据集。
关键创新：最重要的技术创新在于首次预测了模型大小、训练时间、学习率和批量大小的联合最优值，提供了新的视角来理解高能物理中的机器学习模型。
关键设计：关键参数设置包括模型的超参数选择、损失函数的设计以及多任务变换器的网络结构，特别是在计算和数据受限的情况下的优化策略。通过引入辅助目标，进一步降低了主要损失。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在计算最优的规模下，模型和数据集大小几乎呈$ ext{sqrt{C}}$依赖关系。通过引入辅助目标，主要喷流分类损失在相同计算预算下显著降低，展示了该方法在高能物理任务中的有效性和优势。
🎯 应用场景
该研究的潜在应用领域包括高能物理实验数据分析、粒子物理模型的开发以及机器学习在科学研究中的广泛应用。通过优化模型规模和性能，该方法能够为高能物理领域的基础模型开发提供重要支持，推动相关研究的进展。
📄 摘要（原文）
Much of the recent progress in machine learning domains such as language models has come from scaling laws that predict performance as a function of training effort. In high-energy physics (HEP) similar behavior has now been observed. To aid further study, we present a systematic procedure to derive robust scaling laws and compare design choices on the relevant budget axes for HEP tasks. We first validate the full scaling trajectory on toy problems and then apply the procedure to multi-task transformers on the ~11 billion-jet ATLAS JetSet2 dataset, in both the compute- and data-constrained regimes. For the latter, we predict, to the best of our knowledge for the first time, the jointly optimal model size, training horizon, learning rate and batch size under early stopping. At compute-optimal scaling, we recover a near-equal $\sqrt{C}$ dependence of model and dataset size, and find that auxiliary objectives lower the primary jet-classification loss at equal compute budget. Expanding the inputs toward lower-level data systematically lowers the loss while leaving the scaling exponent nearly unchanged. The onset of the power-law regime is itself set by scale: below a threshold in dataset size the loss carries little information about high-compute scaling, underscoring the value of large, high-quality full-simulation datasets as a foundation for scaling studies and the development of foundation models in HEP.