Profiling Lightweight Large Language Models

📄 arXiv: 2607.20806v1 📥 PDF

作者: Tomohiro Harada, Enrique Alba, Gabriel Luque

分类: cs.AI

发布日期: 2026-07-23

💡 一句话要点

提出PTME框架以精确评估轻量级大语言模型的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 轻量级大语言模型 性能评估 PTME框架 资源限制 模型选择 边缘计算 能耗优化

📋 核心要点

  1. 现有的轻量级大语言模型评估方法主要依赖于代理描述符，无法有效预测模型的实际精度和性能。
  2. 本文提出了一种基于PTME的框架，通过直接测量精度、执行时间、内存使用和能耗，提供更全面的性能评估。
  3. 实验结果表明，传统的评估方法可能导致错误的模型选择，而PTME分析能够揭示在不同资源限制下的最佳配置。

📝 摘要（中文）

轻量级大语言模型（LLMs）越来越多地在个人电脑上本地部署，并在资源受限的边缘和移动环境中发挥日益重要的作用。在这些环境中，能耗、执行时间和内存使用直接影响实际可用性。然而，现有的LLM效率评估主要依赖于参数数量或FLOPs等代理描述符，往往与任务精度脱节。本文引入了一种基于PTME的实验框架，精确测量轻量级LLM推理的精度、执行时间、峰值内存使用和能耗，通过直接的硬件级测量进行联合评估。该方法应用于一组代表性的轻量级LLM，在受控桌面平台下执行，涵盖代码生成、数学推理和多任务理解等基准。研究发现，静态代理描述符能够较好地近似推理成本，但无法预测精度。收紧资源限制会增加成本而不影响精度，执行时间的增加幅度大于能耗，且对较大模型的影响最为显著。此外，没有单一模型在所有PTME维度上占优，Pareto分析揭示了在仅依赖精度或效率评估时可能被忽视的非支配配置，为在不同资源限制下选择模型提供了实用指导。

🔬 方法详解

问题定义：本文旨在解决轻量级大语言模型在资源受限环境中的性能评估问题。现有方法多依赖于静态代理描述符，无法准确反映模型的实际推理精度和性能。

核心思路：提出PTME框架，通过精确测量模型的精度、执行时间、内存使用和能耗，提供全面的性能评估，帮助选择合适的模型配置。

技术框架：该框架包括四个主要模块：精度测量、执行时间记录、内存使用监控和能耗评估。通过在受控环境中执行一系列基准测试，收集各项指标的数据。

关键创新：PTME框架的创新在于其综合性评估方法，能够同时考虑多个性能维度，而不仅仅依赖于单一的代理描述符。这种方法揭示了在不同资源限制下的非支配模型配置。

关键设计：在实验中，采用了特定的硬件平台和基准测试集，确保测量的准确性和可重复性。关键参数包括资源限制的设置和模型选择的标准，确保评估结果的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，静态代理描述符虽然能较好地近似推理成本，但无法有效预测模型精度。收紧资源限制会导致成本增加，执行时间的增加幅度显著高于能耗，且对较大模型的影响最为明显。PTME分析揭示了在不同资源限制下的最佳模型配置，提供了实用的选择指导。

🎯 应用场景

该研究的潜在应用领域包括边缘计算、移动设备和个人计算机等资源受限环境。通过提供精确的模型性能评估，帮助开发者在不同的资源条件下选择合适的轻量级大语言模型，从而提升应用的实用性和效率。

📄 摘要（原文）

Lightweight large language models (LLMs) are increasingly being deployed locally on personal computers and are expected to play a growing role in resource-constrained edge and mobile environments. In such settings, energy consumption, execution time, and memory usage directly affect practical usability, yet existing evaluations of LLM efficiency largely rely on proxy descriptors such as parameter count or FLOPs, often decoupled from task precision. This paper introduces a PTME-based experimental framework for the precision-aware profiling of lightweight LLM inference, jointly measuring Precision, execution Time, peak Memory usage, and Energy consumption through direct hardware-level measurements. The methodology is applied to a representative set of lightweight LLMs executed locally under edge-class resource envelopes on a controlled desktop platform, using benchmarks spanning code generation, mathematical reasoning, and multi-task understanding. We find that static proxy descriptors approximate inference cost well but fail to predict precision. Tightening the resource envelope increases cost without affecting precision, amplifying execution time more strongly than energy and penalizing larger models the most. Moreover, no single model dominates across all PTME dimensions, and a Pareto analysis reveals non-dominated configurations that would be hidden by accuracy-only or efficiency-only assessments, providing practical guidance for selecting models under different resource envelopes. These results show that selecting lightweight LLMs by size, FLOPs, latency, or accuracy alone can select the wrong deployment candidate; PTME profiling exposes configurations that preserve useful accuracy at lower physical cost.