Attention to Detail: Evaluating Energy, Performance, and Accuracy Trade-offs Across vLLM Configurations
作者: Nada Zine, Tristan Coignion, Vincenzo Stoico, Clément Quinton, Romain Rouvoy, Patricia Lago
分类: cs.SE, cs.AI, cs.PF
发布日期: 2026-07-10
备注: Submitted at a conference
💡 一句话要点
评估vLLM配置对能耗、性能与准确性的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理引擎 能耗评估 性能优化 配置调优 实验研究 注意力机制
📋 核心要点
- 现有研究主要关注模型架构与硬件加速，推理引擎配置对能耗与性能的影响尚不明确。
- 本文通过大规模实验，系统评估了vLLM的三种配置选项对能耗、性能和准确性的影响。
- 实验结果显示，注意力类型和前缀缓存对能耗和性能影响显著，而模型选择在全局权衡中占主导地位。
📝 摘要（中文）
大型语言模型正在重塑软件开发与维护的方式。尽管已有研究集中于模型架构和硬件加速，但推理引擎配置对能耗、性能和输出质量的影响仍未得到充分理解。本文通过大规模控制研究，评估了三种vLLM配置选项：注意力内核类型、前缀缓存和分块预填充。我们分析了5个开放权重LLM和5个不同推理任务的所有配置组合，进行了9000次实验和93600次测量。结果表明，配置选项显著影响能耗和性能，主要由注意力类型和前缀缓存驱动，而分块预填充在默认配置下的影响有限。模型选择主导了全局权衡，而配置调优则提供了局部改进。意外的是，推理选项也可能影响模型准确性。
🔬 方法详解
问题定义：本文旨在解决推理引擎配置对大型语言模型能耗、性能和准确性影响不明确的问题。现有方法未能充分探讨不同配置选项的综合效果。
核心思路：通过大规模控制实验，系统评估vLLM的不同配置选项，揭示它们对能耗和性能的影响机制，帮助开发者优化模型部署。
技术框架：研究设计了一个包含三种配置选项的实验框架，分别为注意力内核类型、前缀缓存和分块预填充。通过对5个开放权重LLM和5个推理任务的组合进行9000次实验，收集93600次测量数据。
关键创新：本研究首次系统评估了vLLM配置对能耗、性能和准确性的综合影响，揭示了模型选择与配置调优之间的权衡关系。
关键设计：实验中对注意力内核类型、前缀缓存和分块预填充进行了详细配置，采用了多种推理任务以确保结果的广泛适用性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，注意力类型和前缀缓存的配置显著影响能耗和性能，尤其是在不同模型和任务下，未发现任何配置在所有场景中均为最佳。模型选择在全局权衡中占主导地位，而配置调优则提供了局部的性能提升。
🎯 应用场景
该研究为大型语言模型的推理引擎配置提供了重要的实证依据，能够帮助开发者在实际应用中优化模型部署，降低能耗，提高性能，具有广泛的应用潜力，尤其在云计算和边缘计算环境中。
📄 摘要（原文）
Large Language Models are reshaping how software is developed and maintained. They are typically deployed in production using inference engines such as vLLM, which can efficiently serve pre-trained, highly configurable models. While prior work has focused on model architectures and hardware acceleration, the impact of inference engine configuration on energy consumption, performance, and output quality remains poorly understood. In this paper, we present a large-scale controlled study of three selected vLLM configuration options: attention kernel type, prefix caching, and chunked prefill. We evaluate all combinations of these configurations across 5 open-weight LLMs and 5 diverse inference tasks, totaling $9,000$ runs and $93,600$ measures. We analyze energy consumption, latency, and accuracy, and examine both main effects and interaction effects between configuration options and tasks. Our results show that the studied configuration options significantly impact energy and performance, mainly driven by attention type and prefix caching, while chunked prefill has a limited effect under the default vLLM serving configuration and evaluated workloads. These effects are highly model- and workload-dependent, and no configuration is universally optimal. We further show that model choice dominates global trade-offs, while configuration tuning provides local improvements along the Pareto frontier. Unexpectedly, inference options can also affect model accuracy.