How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?

📄 arXiv: 2610.29439v1 📥 PDF

作者: Jay Agarwal, Siddharth Khare, Dhruv Kumar

分类: cs.LG, hep-ex, hep-ph, physics.data-an

发布日期: 2026-10-21

备注: 34 pages, 16 figures, 23 tables. Code and model weights: https://github.com/JayAgarwal25/distilling-jet-taggers

💡 一句话要点

通过知识蒸馏提升喷流标记效率的研究

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 喷流标记 知识蒸馏 高能物理 模型压缩 机器学习 推理效率 深度学习

📋 核心要点

  1. 现有喷流标记模型在推理成本上受到严格限制，难以在大型强子对撞机中高效应用。
  2. 论文通过知识蒸馏技术，将不同架构和预训练的教师模型转化为小型学生模型，以提高推理效率。
  3. 实验结果显示，蒸馏后的L-GATr-slim模型在仅有两万参数的情况下，超越了所有从头训练的喷流标记模型。

📝 摘要（中文）

喷流标记是大型强子对撞机中机器学习的重要应用。本文探讨了如何通过知识蒸馏将大型预训练模型的性能转移到小型模型上，以降低推理成本。研究表明，教师模型的架构、对称性和预训练方式对学生模型的性能提升有显著影响。通过蒸馏，研究团队成功将两个强大的教师模型转化为小型学生模型，且在参数数量大幅减少的情况下，仍能达到接近最先进模型的性能。所有训练模型的代码和权重均已公开。

🔬 方法详解

问题定义：本文旨在解决喷流标记中大型模型推理成本高的问题。现有方法在推理效率上存在显著不足，限制了其在实际应用中的可行性。

核心思路：通过知识蒸馏，将性能优越的教师模型的知识转移到小型学生模型上，从而在保持较高性能的同时显著降低推理成本。

技术框架：研究中蒸馏了六个不同架构和预训练的教师模型，生成五个小型学生模型。每个教师模型都对学生模型的性能有提升，且提升幅度与教师模型的强度相关。

关键创新：最重要的创新在于通过蒸馏技术实现了在参数数量大幅减少的情况下，仍能接近最先进模型的性能，尤其是L-GATr-slim模型的表现。

关键设计：在蒸馏过程中，研究团队对教师模型的架构进行了优化，并在参数设置上进行了精细调整，以确保学生模型能够有效学习教师模型的知识。

📊 实验亮点

实验结果显示，蒸馏后的L-GATr-slim模型在仅有两万参数的情况下，超越了所有从头训练的喷流标记模型，且在仅有两千参数时，性能与参数数量高达一千倍的ParT模型相当，展示了显著的效率提升。

🎯 应用场景

该研究的潜在应用领域包括高能物理实验中的喷流标记、数据分析及其他需要高效模型推理的场景。通过降低推理成本，研究成果有望推动相关领域的技术进步，并为实时数据处理提供支持。

📄 摘要（原文）

Jet tagging is one of the most important applications of machine learning at the Large Hadron Collider. Recent models build in more physics knowledge or rely on large-scale pretraining, but the experiments place strict limits on their inference cost. Knowledge distillation can transfer their performance to small students that are cheap to run. We ask which properties of a teacher help the student, how small a student can get and how close it can come to the state of the art. On a jet tagging benchmark, we distil six teachers that differ in architecture, symmetry and pretraining, including two foundation models, into five small students. Every teacher improves every student, and the gain depends mainly on the strength of the teacher. We then shrink our two strongest distilled students, Transformer and L-GATr-slim, in width and in depth. With 20 thousand parameters, a distilled L-GATr-slim outperforms every published jet tagger trained from scratch at a fraction of the inference cost of every teacher. Even with two thousand parameters, it matches ParT, a model with a thousand times as many parameters. We also study what the students learn from their teachers. Our benchmark of inference cost shows that students of the same size can differ by almost an order of magnitude in speed. We release the code and the weights of all trained models.