River-LLM: Large Language Model Seamless Exit Based on KV Share

📄 arXiv: 2604.18396v1 📥 PDF

作者: Yingtao Shen, An Zou

分类: cs.CL

发布日期: 2026-04-20

备注: Accepted to ACL 2026, 13pages, with appendix

💡 一句话要点

River-LLM：基于KV共享的大语言模型无缝退出框架，提升推理速度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 提前退出 KV缓存 推理加速 状态转移相似性

📋 核心要点

  1. 现有Early Exit方法在decoder-only LLM中受限于KV缓存缺失问题，导致性能提升受限。
  2. River-LLM通过KV共享机制，在退出时自然生成和保存缺失的KV缓存，避免了额外的计算开销。
  3. River-LLM利用状态转移相似性预测KV误差，指导更精确的退出决策，提升加速效果。

📝 摘要（中文）

大型语言模型(LLMs)在各个领域表现出色，但推理延迟日益成为瓶颈。提前退出(Early Exit)通过动态跳过冗余层来加速推理，是一种有前景的解决方案。然而，在仅解码器架构中，提前退出的效率受到KV缓存缺失问题的严重限制，跳过的层无法为后续token提供必要的历史状态。现有的重计算或掩码等解决方案，要么引入显著的延迟开销，要么导致严重的精度损失，无法弥合理论层减少和实际加速之间的差距。本文提出了River-LLM，一个无需训练的框架，实现无缝的token级别提前退出。River-LLM引入了一个轻量级的KV共享退出River，允许主干网络缺失的KV缓存在退出过程中自然生成和保存，无需昂贵的恢复操作。此外，我们利用解码器块内的状态转换相似性来预测累积KV误差，并指导精确的退出决策。在数学推理和代码生成任务上的大量实验表明，River-LLM在保持高生成质量的同时，实现了1.71到2.16倍的实际加速。

🔬 方法详解

问题定义：论文旨在解决decoder-only架构LLM中，Early Exit方法因KV缓存缺失而导致的推理加速受限问题。现有方法如重计算和掩码，要么引入额外的延迟，要么损失精度，无法有效提升实际推理速度。

核心思路：River-LLM的核心思路是在Early Exit过程中，通过一个轻量级的KV共享机制，使得被跳过的层对应的KV缓存能够被自然地生成和保存，从而避免了后续层因缺少历史信息而产生的性能下降。同时，利用层间状态转移的相似性来预测KV缓存的误差，指导更精确的退出决策。

技术框架：River-LLM包含一个主干LLM和一个KV-Shared Exit River。主干LLM负责正常的token生成过程。当满足退出条件时，token会通过Exit River，该River共享主干网络的KV缓存，并生成缺失的KV状态。状态转移相似性模块用于预测KV误差，并根据误差大小动态调整退出策略。整体流程为：输入token -> 主干网络 -> 状态转移相似性预测 -> 退出决策 -> (若退出) KV-Shared Exit River -> 输出token。

关键创新：River-LLM的关键创新在于KV共享机制和基于状态转移相似性的退出决策。KV共享机制避免了重计算或掩码带来的额外开销或精度损失，实现了无缝的Early Exit。基于状态转移相似性的退出决策能够更准确地评估KV缓存的误差，从而实现更优的加速效果。

关键设计：KV-Shared Exit River是一个轻量级的网络结构，与主干网络共享KV缓存，并生成缺失的KV状态。状态转移相似性通过计算相邻层之间的状态向量的余弦相似度来预测KV误差。退出决策基于预测的KV误差和一个预设的阈值，当误差小于阈值时，token可以提前退出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，River-LLM在数学推理和代码生成任务上，实现了1.71到2.16倍的实际推理加速，同时保持了较高的生成质量。相比于传统的Early Exit方法，River-LLM在加速效果和精度保持方面都取得了显著的提升。

🎯 应用场景

River-LLM可应用于各种需要加速LLM推理的场景，例如移动设备上的本地部署、低延迟的在线服务、以及资源受限的环境。该方法能够显著提升LLM的推理效率，降低计算成本，并扩展LLM的应用范围。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated exceptional performance across diverse domains but are increasingly constrained by high inference latency. Early Exit has emerged as a promising solution to accelerate inference by dynamically bypassing redundant layers. However, in decoder-only architectures, the efficiency of Early Exit is severely bottlenecked by the KV Cache Absence problem, where skipped layers fail to provide the necessary historical states for subsequent tokens. Existing solutions, such as recomputation or masking, either introduce significant latency overhead or incur severe precision loss, failing to bridge the gap between theoretical layer reduction and practical wall-clock speedup. In this paper, we propose River-LLM, a training-free framework that enables seamless token-level Early Exit. River-LLM introduces a lightweight KV-Shared Exit River that allows the backbone's missing KV cache to be naturally generated and preserved during the exit process, eliminating the need for costly recovery operations. Furthermore, we utilize state transition similarity within decoder blocks to predict cumulative KV errors and guide precise exit decisions. Extensive experiments on mathematical reasoning and code generation tasks demonstrate that River-LLM achieves 1.71 to 2.16 times of practical speedup while maintaining high generation quality.