DLite: History-free Speculative Decoding for Agentic AI

📄 arXiv: 2610.23787v1 📥 PDF

作者: Jiaming Xu, Hanzhen Wang, Tianlang Zhao, Jiewen Xiao, Chengze Yuan, Jiayi Pan, Yongkang Zhou, Jiancai Ye, Yu Wang, Guohao Dai

分类: cs.CL

发布日期: 2026-10-16

备注: 14 pages, 5 figures

💡 一句话要点

提出DLite框架以解决长历史上下文带来的推理效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 大型语言模型 代理AI 上下文处理 模型优化 深度学习 高效推理

📋 核心要点

  1. 现有推测解码方法在处理长历史上下文时效率低下，导致接受长度显著下降，且维护历史缓存增加了系统开销。
  2. DLite框架通过重用目标模型的上下文隐藏状态，进行局部推测预测，避免了历史上下文的显式维护，从而简化了模型复杂性。
  3. 实验结果显示，DLite在多个工作负载上实现了显著的性能提升，接受长度提高2-6倍，超越了现有最优方法DSpark，提升幅度达70%。

📝 摘要（中文）

推测解码已成为加速大型语言模型推理的主流技术，通过使用轻量级草稿模型生成候选标记并由目标模型验证。然而，在代理工作负载下，现有草稿模型在接受长度上最多下降80%，同时维护历史KV缓存带来了显著的系统开销。本文提出DLite，一个无历史的推测解码框架，直接重用目标模型的上下文隐藏状态，进行局部推测预测，避免显式维护历史上下文，从而将复杂建模问题转化为简单的局部预测问题。实验表明，DLite在通用、长上下文和代理工作负载上实现了2-6的接受长度，并在性能上超越了最先进的推测解码方法DSpark，提升幅度高达70%。

🔬 方法详解

问题定义：本文旨在解决在代理工作负载下，现有推测解码方法因历史上下文导致的效率低下和系统开销问题。现有草稿模型在处理长上下文时，接受长度显著下降，且维护历史KV缓存增加了额外的开销。

核心思路：DLite框架的核心思想是直接重用目标模型的上下文隐藏状态，进行局部推测预测，而不需要显式维护历史上下文。这种设计将复杂的建模问题转化为简单的局部预测问题，从而提高了推理效率。

技术框架：DLite的整体架构包括两个主要模块：一是轻量级的草稿模型，负责生成候选标记；二是目标模型，负责验证这些候选标记。框架采用了局部推测预测的方式，结合了轻量级的顺序头以恢复内部块的因果依赖。

关键创新：DLite的主要创新在于其无历史的推测解码框架，显著降低了对历史上下文的依赖，解决了现有方法在长上下文处理中的性能瓶颈。与现有方法相比，DLite在接受长度和系统开销上均有显著改善。

关键设计：DLite采用了定制的两阶段训练策略，以有效训练其异构的无历史架构。关键参数设置和损失函数设计旨在优化局部推测的准确性和效率，同时保持低开销的系统性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DLite在多个工作负载上实现了2-6的接受长度，相较于最先进的推测解码方法DSpark，性能提升高达70%。这一显著的提升展示了DLite在处理复杂上下文时的有效性和高效性。

🎯 应用场景

DLite框架具有广泛的应用潜力，尤其是在需要处理长上下文和多轮交互的智能代理系统中，如对话系统、虚拟助手和自动化客服等领域。其高效的推理能力将提升用户体验，并推动智能交互技术的发展。

📄 摘要（原文）

Speculative decoding has become a mainstream technique for accelerating large language model (LLM) inference by using a lightweight draft model to generate candidate tokens that are subsequently verified by the target model. However, agentic workloads introduce long and continuously evolving contexts and frequent multi-turn interactions. Under such workloads, we observe that existing draft models suffer from up to an 80% degradation in acceptance length, while maintaining their historical KV cache introduces substantial system overhead. In this paper, we identify the growing historical context as a common source of both problems and introduce DLite, a history-free speculative decoding framework for agentic AI. DLite directly reuses contextual hidden states from the target model and performs local speculative prediction without explicitly maintaining the historical context, transforming an increasingly complex modeling problem into local simple prediction problem. A lightweight sequential head further restores intra-block causal dependencies with low overhead. To effectively train this heterogeneous history-free architecture, we introduce a tailored two-stage training strategy. Experiments on general-purpose, long-context and agentic workloads show that DLite achieves 2-6 acceptance length and outperforms the state-of-the-art speculative decoding method, DSpark, up to 70%.