FlexEE: Self-Speculative and KV-Compatible Early Exiting for Offloading-Aware LLM Inference

📄 arXiv: 2609.17008v1 📥 PDF

作者: Qihu Xie, Ziwei Li, Yi Kang

分类: cs.AI

发布日期: 2026-09-15

💡 一句话要点

提出FlexEE以解决资源受限下的LLM推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 早期退出 推理优化 动态管理 资源受限

📋 核心要点

  1. 现有的LLM推理方法在资源受限和卸载场景中面临计算和内存的双重限制，导致效率低下。
  2. FlexEE通过层级退出监督和自我推测解码等技术，优化了LLM的解码过程，实现了早期退出。
  3. 实验结果显示，FlexEE在多个任务上实现了显著的速度提升，且准确率损失极小，表现出良好的实用性。

📝 摘要（中文）

大型语言模型（LLM）推理常受到计算和内存的限制，尤其是在基于卸载的部署中，模型权重在自回归解码过程中需要在内存层次之间转移。为此，减少执行层数可以降低每个token的延迟，同时避免昂贵的权重移动。为此，本文提出了FlexEE，一个针对资源受限和基于卸载的LLM推理的早期退出框架。FlexEE通过层级退出监督、基于Top-K局部词汇的自我推测解码以及动态隐藏状态管理，使得LLM解码的早期退出变得可行。实验表明，FlexEE在生成和下游任务中实现了高效的早期退出，准确率损失最小，在Llama2-7B和Llama3-8B模型下，分别在0%/50%权重卸载情况下实现了高达1.27×/3.16×和1.25×/2.83×的端到端加速。

🔬 方法详解

问题定义：本文旨在解决在资源受限和基于卸载的环境中，LLM推理效率低下的问题。现有方法在执行过程中需要频繁移动权重，导致延迟和计算开销增加。

核心思路：FlexEE的核心思路是通过引入早期退出机制，减少不必要的层执行，从而降低延迟和内存开销。通过层级退出监督和自我推测解码，FlexEE能够在保证准确率的前提下，实现高效的推理。

技术框架：FlexEE的整体架构包括三个主要模块：层级退出监督、基于Top-K局部词汇的自我推测解码和动态隐藏状态管理。层级退出监督负责提供中间层的可靠预测，自我推测解码用于快速决策，而动态隐藏状态管理则确保KV缓存的正确性和内存的高效使用。

关键创新：FlexEE的主要创新在于其自我推测解码策略和动态隐藏状态管理，使得早期退出在LLM解码中变得实际可行。这与传统方法的静态层执行形成鲜明对比，显著提高了推理效率。

关键设计：FlexEE在设计中采用了层级退出监督机制，确保中间层的预测准确性。此外，使用Top-K局部词汇进行低成本的退出决策，同时动态管理隐藏状态，以适应不同的内存需求和KV缓存的正确性。具体的参数设置和损失函数设计在实验中经过优化，以实现最佳性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FlexEE在Llama2-7B和Llama3-8B模型下，分别在0%和50%权重卸载情况下，实现了高达1.27×/3.16×和1.25×/2.83×的端到端加速，且准确率损失极小，展示了其在实际应用中的有效性和可靠性。

🎯 应用场景

FlexEE的研究成果在多个领域具有广泛的应用潜力，尤其是在资源受限的设备上进行大型语言模型推理时。其高效的早期退出机制可以显著提升实时应用的响应速度，如智能助手、对话系统和在线翻译等。未来，随着LLM技术的不断发展，FlexEE可能会在更多实际场景中发挥重要作用。

📄 摘要（原文）

Large language model (LLM) inference is often constrained by both computation and memory, especially in offloading-based deployments where model weights are transferred across memory hierarchies during autoregressive decoding. In this setting, reducing the number of executed layers can lower per-token latency while also avoiding costly weight movement. Motivated by this observation, we present FlexEE, an early exiting framework for resource-constrained and offloading-based LLM inference. FlexEE makes early exiting practical for LLM decoding through layer-wise exit supervision for reliable intermediate-layer prediction, self-speculative decoding over a Top-K local vocabulary for low-cost exit decisions, and dynamic hidden state management for KV-cache-correct and memory-aware execution. Across generative and downstream tasks, FlexEE enables efficient early exit with minimal accuracy degradation, delivering up to 1.27$\times$/3.16$\times$ and 1.25$\times$/2.83$\times$ end-to-end speedups on Llama2-7B and Llama3-8B under 0\%/50\% weight offloading, respectively.