AutoTuneBench: Trustworthy Measurement for Agent Auto-Tuning of LLM Serving Engines
作者: Li Chen
分类: cs.AI
发布日期: 2026-09-16
备注: 15 pages, 7 tables, 6 figures. Code and measurement corpus: https://github.com/li-ch/autotunebench (tag v1.0.0)
💡 一句话要点
提出AutoTuneBench以解决LLM服务引擎自动调优的测量可信性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自动调优 测量协议 GPU内核 性能评估 可信计算 反作弊机制
📋 核心要点
- 现有方法在大型语言模型的自动调优中存在测量不可信的问题，导致结果的可靠性受到质疑。
- 论文提出AutoTuneBench，通过建立严格的测量协议和验证机制，确保调优过程中的测量结果可信。
- 实验结果显示，最佳内核在与简单基线比较时提升10.6倍，但与诚实基线相比提升仅为2.03倍，显示出测量的真实性对结果的重要性。
📝 摘要（中文）
大型语言模型代理通过提出、测量和保留的闭环来调优GPU内核和服务引擎，但这一过程中的测量结果并不可信。本文通过对619个模型调用的四天试点语料库进行分析，识别出四种失败模式：虚假基线制造速度提升、绝对时间在不同机器间无法转移、饱和任务使比较失效以及基础设施缺陷伪装科学。为此，本文提出了AutoTuneBench，一个基准和测量协议，使得信任架构化。该协议以代码形式冻结，具有测试强制的来源追踪；数据库级验证器拒绝不符合协议的结果；反作弊检查在代理的修改表面之外运行；比较遵循预注册的读数；测量结果锚定于外部发布的结果，并基于配对种子统计，设定5%的跨运行变异系数上限。诚实的测量重写了结果：最佳内核相较于简单基线提升10.6倍，但与诚实基线相比仅提升2.03倍。
🔬 方法详解
问题定义：本文旨在解决大型语言模型代理在调优GPU内核和服务引擎时测量结果不可信的问题。现有方法存在多种失败模式，导致性能提升的结果不可靠。
核心思路：论文提出的AutoTuneBench通过建立一个严格的测量协议，使得测量过程具有可追溯性和可信性，从而提高调优结果的可靠性。
技术框架：AutoTuneBench的整体架构包括多个模块：首先是测量协议的设计，其次是数据库级的验证器，接着是反作弊检查，最后是基于预注册读数的比较机制。
关键创新：最重要的技术创新在于将测量过程的信任架构化，采用代码冻结、来源追踪和外部结果锚定等手段，确保测量结果的真实性和可靠性。
关键设计：在设计中，采用了测试强制的来源追踪机制，数据库级验证器拒绝不符合协议的结果，反作弊检查在代理的修改表面之外进行，确保了测量的公正性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，最佳内核在与简单基线比较时提升了10.6倍，但与诚实基线相比仅提升2.03倍，表明测量的真实性对结果至关重要。此外，某一配置在不同机器上分别实现了1.174倍和1.0049倍的提升，展示了测量协议的有效性。
🎯 应用场景
该研究的潜在应用领域包括大型语言模型的自动调优、GPU计算优化以及高性能计算系统的性能评估。通过提供可信的测量结果，AutoTuneBench能够帮助研究人员和工程师更有效地优化模型性能，推动相关技术的发展。
📄 摘要（原文）
Large language model agents tune GPU kernels and serving engines through a closed loop of propose, measure, and keep, but the measurements behind this loop are not trustworthy. We characterize four failure modes from a four-day pilot corpus of 619 model calls: strawman baselines manufacture speedups, absolute times do not transfer across machines, saturated tasks nullify comparisons, and infrastructure defects impersonate science. We present AutoTuneBench, a benchmark and measurement protocol that makes trust architectural. The protocol is frozen as code with test-enforced provenance; a database-level validator rejects out-of-protocol results; anti-cheat checks run outside the agent's modification surface; comparisons follow pre-registered readouts; and measurements anchor to externally published results, grounded in paired-seed statistics with a 5\% cross-run coefficient-of-variation cap. Honest measurement rewrites the headlines: our best kernel reads 10.6x against a naive baseline but 2.03x against the honest one; one configuration delivers 1.174x on one machine and 1.0049x on another; a pre-registered on/off comparison nulls at a shared wall (2.4840 vs 2.4957\,ms); and the KernelBench Level-1 suite admits 51\% of tasks with median speedup 1.0001x over PyTorch eager. The protocol, the two-engine corpus (vLLM and SGLang), and its audit trail are released as open artifacts.