Reproducible LLM Inference Benchmarking: A Sequential Isolation Protocol for Regression Testing

📄 arXiv: 2610.09778v1 📥 PDF

作者: Arnold Olympio, Juan Manuel Servera Bondroit, Wael Abdelmalek, Guang Lu, João Carvalho

分类: cs.PF, cs.LG

发布日期: 2026-10-07

💡 一句话要点

提出顺序隔离方法以解决大语言模型推理基准测试的可重复性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 基准测试 可重复性 顺序隔离 性能评估 回归测试 并发性 测量方差

📋 核心要点

  1. 现有方法在大语言模型推理基准测试中存在可重复性差的问题，测量结果受执行环境和系统状态的影响。
  2. 论文提出的顺序隔离方法通过控制实验条件和变更工作负载并发性，旨在降低测量方差，提高基准测试的可靠性。
  3. 实验结果显示，最终协议将平均变异系数降低至2.2%，并且在不同并发用户数下观察到显著的延迟变化，提供了稳定的基准参考。

📝 摘要（中文）

大语言模型（LLM）推理的可重复性基准测试面临挑战，因为重复测量可能因执行和系统状态而异。本文提出了顺序隔离方法，这是一种受控的基准测试和回归测试协议，旨在减少运行间测量方差，同时故意改变工作负载并发性。我们在NVIDIA A100 80GB GPU上使用vLLM 0.9.1对三种代表性的开源LLM进行了评估，涵盖六种上下文大小和八种并发级别，每种配置重复五次。最终协议将平均变异系数（CV）从15.2%降低到2.2%，其中113个配置（78.5%）的CV低于3%。此外，我们提供了一个明确的成本盈亏模型，敏感于API定价。

🔬 方法详解

问题定义：本文旨在解决大语言模型推理基准测试中的可重复性问题，现有方法在不同执行和系统状态下测量结果存在较大方差，影响了测试的可靠性和有效性。

核心思路：论文提出的顺序隔离方法通过在受控环境下进行基准测试，系统性地调整工作负载并发性，以减少测量结果的变异性，从而实现更稳定的测试结果。

技术框架：整体架构包括多个阶段：首先，设定实验环境并使用vLLM 0.9.1进行模型推理；其次，针对六种上下文大小和八种并发级别进行多次重复测试；最后，分析测量结果并计算变异系数。

关键创新：最重要的技术创新点在于顺序隔离方法的引入，它通过控制实验条件和系统状态，显著降低了测量结果的方差，与传统方法相比，提供了更高的可重复性和可靠性。

关键设计：在实验中，设置了多个关键参数，包括上下文大小、并发用户数和重复次数，采用了五次重复测量以计算中位数TTFT值，并基于此计算变异系数，确保了实验结果的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，最终协议将平均变异系数从15.2%降低至2.2%，其中78.5%的配置实现了CV低于3%。此外，在200至500个并发用户的测试中，观察到显著的延迟变化，提供了对不同模型性能的深入分析。

🎯 应用场景

该研究的潜在应用领域包括大语言模型的性能评估、API服务的负载测试以及机器学习模型的回归测试。通过提供稳定的基准参考，研究成果能够帮助开发者和研究人员更好地理解和优化模型性能，提升实际应用中的可靠性和效率。

📄 摘要（原文）

Reproducible benchmarking of Large Language Model (LLM) inference is challenging because repeated measurements can vary with execution and system state. We present the Sequential Isolation Methodology, a controlled benchmarking and regression-testing protocol designed to reduce between-run measurement variance while deliberately varying workload concurrency. We evaluate three representative open-source LLMs on an NVIDIA A100 80GB GPU using vLLM 0.9.1 across six context sizes and eight concurrency levels, with five repetitions per configuration. The final protocol reduces average coefficient of variation (CV) from 15.2% in the least controlled methodology stage to 2.2% under the final protocol; using CV computed across the five repetition-level median (P50) TTFT values per configuration, 113 of 144 configurations (78.5%) achieve CV below 3%. The measurements also show a marked latency transition between 200 and 500 concurrent users on the tested stack and descriptive differences in P99 latency across the three models. We additionally provide an explicit cost break-even model with sensitivity to API pricing. The protocol is intended to provide a stable reference for reproducible comparison and regression testing rather than to predict absolute behavior under uncontrolled production traffic. Infrastructure-as-Code and benchmark scripts support replication of the experimental environment.