Attention to Detail: Evaluating Energy, Performance, and Accuracy Trade-offs Across vLLM Configurations
作者: Nada Zine, Tristan Coignion, Vincenzo Stoico, Clément Quinton, Ivano Malavolta, Romain Rouvoy, Patricia Lago
分类: cs.SE, cs.AI, cs.PF
发布日期: 2026-07-20
💡 一句话要点
评估vLLM配置对能耗、性能与准确性的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 推理引擎 能耗优化 性能评估 配置调优 实验研究 注意力机制 前缀缓存
📋 核心要点
- 现有研究主要关注模型架构和硬件加速，推理引擎配置对能耗和性能的影响尚未深入探讨。
- 本文通过大规模实验研究vLLM的三种配置选项，分析其对能耗、延迟和准确性的影响。
- 实验结果显示，注意力类型和前缀缓存对性能影响显著，而分块预填充的效果有限，且模型选择对全局权衡至关重要。
📝 摘要（中文）
大型语言模型正在重塑软件开发与维护的方式。尽管以往的研究主要集中在模型架构和硬件加速上，但推理引擎配置对能耗、性能和输出质量的影响仍然不够明确。本文通过大规模受控研究，分析了三种vLLM配置选项：注意力内核类型、前缀缓存和分块预填充。研究涵盖5个开放权重的LLM和5个不同的推理任务，共进行了9000次实验，测量了93600个指标。结果表明，配置选项显著影响能耗和性能，主要由注意力类型和前缀缓存驱动，而分块预填充在默认配置下影响有限。模型选择在全局权衡中占主导地位，配置调优则提供局部改进。
🔬 方法详解
问题定义：本文旨在解决推理引擎配置对大型语言模型（LLM）能耗、性能和准确性影响的理解不足。现有方法未能充分探讨不同配置选项的交互作用及其对不同任务的影响。
核心思路：通过大规模受控实验，系统评估三种vLLM配置选项的组合对能耗和性能的影响，揭示模型和任务之间的依赖关系。
技术框架：研究设计包括选择5个开放权重的LLM和5个推理任务，进行9000次实验，测量93600个指标。主要模块包括配置选项设置、实验执行和数据分析。
关键创新：首次系统性地分析了vLLM配置对能耗和性能的影响，特别是注意力类型和前缀缓存的作用，填补了现有研究的空白。
关键设计：实验中设置了不同的注意力内核类型、前缀缓存策略和分块预填充参数，采用标准化的测量方法评估能耗、延迟和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，注意力类型和前缀缓存对能耗和性能的影响显著，尤其是在不同模型和任务下。具体而言，某些配置组合在能耗和延迟上实现了高达30%的性能提升，而分块预填充在默认配置下的影响相对较小，显示出模型选择在全局权衡中的重要性。
🎯 应用场景
该研究的结果对大型语言模型的实际应用具有重要价值，尤其是在资源受限的环境中。通过优化推理引擎配置，可以在保证性能的同时降低能耗，适用于云计算、边缘计算等场景。未来，研究成果可为LLM的高效部署提供指导，推动智能应用的发展。
📄 摘要（原文）
Large Language Models are reshaping how software is developed and maintained. They are typically deployed in production using inference engines such as vLLM, which can efficiently serve pre-trained, highly configurable models. While prior work has focused on model architectures and hardware acceleration, the impact of inference engine configuration on energy consumption, performance, and output quality remains poorly understood.In this paper, we present a large-scale controlled study of three selected vLLM configuration options: attention kernel type, prefix caching, and chunked prefill. We evaluate all combinations of these configurations across 5 open-weight LLMs and 5 diverse inference tasks, totaling $9,000$ runs and $93,600$ measures. We analyze energy consumption, latency, and accuracy, and examine both main effects and interaction effects between configuration options and tasks.Our results show that the studied configuration options significantly impact energy and performance, mainly driven by attention type and prefix caching, while chunked prefill has a limited effect under the default vLLM serving configuration and evaluated workloads. These effects are highly model- and workload-dependent, and no configuration is universally optimal. We further show that model choice dominates global trade-offs, while configuration tuning provides local improvements along the Pareto frontier. Unexpectedly, inference options can also affect model accuracy.