Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference

📄 arXiv: 2607.09520v1 📥 PDF

作者: Junfei Zhan, Haoxun Shen, Mingang Guo, Zixuan Huang, Tengjiao He

分类: cs.CV, cs.AI

发布日期: 2026-07-10

备注: Accepted to ACM MM 2026. 10 pages, 5 figures

💡 一句话要点

揭示边缘VLM推理中的真实能耗瓶颈

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言模型 能耗分析 边缘计算 输出长度控制 模型优化 智能设备 计算效率

📋 核心要点

  1. 现有研究主要关注视觉标记的减少，忽视了输出标记对能耗的影响，导致对能耗瓶颈的误解。
  2. 本文通过系统的能耗分析，揭示了输出标记数量对推理延迟和能耗的主导作用，提出了新的能耗评估视角。
  3. 实验结果表明，控制输出长度可以显著降低能耗，最大节省可达97%，尤其在大规模模型中效果更为明显。

📝 摘要（中文）

视觉-语言模型（VLM）是具身人工智能的感知基础，但其在边缘硬件上的能耗仍未得到充分理解。现有的效率研究主要集中在减少视觉标记，隐含地将视觉处理视为主要能耗来源。本文通过对五种模型在三种架构、四种输入分辨率和两种硬件平台（NVIDIA RTX 3070和Jetson Orin NX）上的系统能耗分析，推翻了这一假设。研究发现，平均推理功耗是模型固有的常数，与输入分辨率、图像复杂性和提示类型无关；每个输出标记的计算时间是输入标记的11到39倍，输出标记数量是延迟和能耗的主要驱动因素；图像复杂性导致相同分辨率下能耗差异高达4.1倍。这些发现揭示了视觉标记修剪的基本局限性，控制输出长度可节省高达97%的总能耗。

🔬 方法详解

问题定义：本文旨在揭示边缘VLM推理中的真实能耗瓶颈，现有方法过于关注视觉标记的减少，未能全面评估输出标记的影响。

核心思路：通过系统的能耗分析，本文提出输出标记数量是影响推理延迟和能耗的主要因素，强调了输出长度的控制。

技术框架：研究涵盖五种模型、三种架构、四种输入分辨率和两种硬件平台，采用能耗分析方法对不同条件下的推理过程进行评估。

关键创新：首次系统性地分析了边缘VLM推理的能耗，揭示了输出标记数量对能耗的主导作用，与传统方法的视角截然不同。

关键设计：研究中对模型的输入分辨率、图像复杂性和提示类型进行了多维度的实验，确保了结果的全面性和可靠性。通过对比不同模型的能耗，明确了输出长度的控制策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，控制输出长度可以使能耗降低高达97%，而视觉标记的修剪最多只能节省10%的能耗。这一发现强调了输出标记数量在能耗管理中的关键作用，尤其在大规模模型中，解码过程的能耗占比显著增加。

🎯 应用场景

该研究的潜在应用领域包括智能手机、物联网设备和边缘计算平台等，能够帮助开发更高效的视觉-语言模型，降低能耗，提高设备的续航能力。未来，随着模型规模的不断扩大，控制输出长度的策略将变得愈发重要，推动边缘AI技术的可持续发展。

📄 摘要（原文）

Vision-Language Models (VLMs) are the perceptual backbone of embodied AI, but their energy footprint on edge hardware remains poorly understood. Existing efficiency efforts focus predominantly on reducing visual tokens, implicitly treating visual processing as the dominant energy cost. We overturn this implicit assumption through the first systematic energy profiling of on-device VLM inference, spanning five models across three architecture families, four input resolutions, and two hardware platforms (NVIDIA RTX 3070 and Jetson Orin NX). Our analysis yields three findings. First, average inference power is a model-intrinsic constant, invariant to input resolution, image complexity, and prompt type, with less than 5% variation across all conditions. This means that all energy variation across inputs must arise from variation in inference time, not from variation in power draw. Second, each output token costs 11 to 39x more wall-clock time than each input token due to the compute-bound and memory-bound asymmetry between prefill and decode, making output token count the dominant driver of both latency and energy. Third, image complexity, measured by the number of objects in an image, induces up to 4.1x energy differences at identical resolution. This variation arises not from increased visual processing cost, but from differences in output length. These findings expose a fundamental limitation of visual token pruning: even removing all visual tokens saves at most 10% of total energy for fixed-token models. Across models spanning 1 billion to 8 billion parameters, controlling output length saves up to 97% of total energy, with the energy dominance of decoding growing stronger at larger model scale. In short, the true energy bottleneck in edge VLM inference is not what the model sees, but how much it says.