ReaDy: Recurrent States as Dynamic Context for Speculative Drafting in Hybrid Linear Attention Large Language Models

📄 arXiv: 2610.20503v1 📥 PDF

作者: Bohan Sun, Zunhai Su, Xialie Zhuang, Jianjin Li, Ngai Wong, Chuan-Wei Kuo

分类: cs.CL

发布日期: 2026-10-14

备注: 13 pages, 6 figures, 8 tables

🔗 代码/项目: GITHUB

💡 一句话要点

提出ReaDy以提升混合线性注意力模型的推理效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 混合线性注意力 递归状态 自然语言处理 生成模型 效率提升 上下文检索

📋 核心要点

  1. 现有的推测解码方法在上下文对齐方面存在不足，导致生成效率低下。
  2. ReaDy通过利用混合线性注意力模型的递归状态，为每个草拟位置提供特定的上下文检索，提升生成效率。
  3. 在七个基准测试中，ReaDy实现了3.16倍的解码速度提升，并在各项指标上超越了DSpark。

📝 摘要（中文）

论文提出了一种名为ReaDy的推测解码方法，旨在加速自回归生成过程。现有的特征基础草拟器依赖于目标隐藏特征，这些特征的上下文强调可能与后续草拟位置的需求不一致。ReaDy利用混合线性注意力模型的紧凑递归状态，为每个草拟位置提供特定的上下文检索。通过轻量级状态读取器将补充上下文整合到草拟表示中，ReaDy在七个基准测试中实现了平均3.16倍的解码速度提升，并在每个基准上超越了DSpark。

🔬 方法详解

问题定义：本论文旨在解决现有推测解码方法在上下文对齐方面的不足，导致生成效率低下的问题。现有方法依赖于目标隐藏特征，这些特征的上下文强调可能与后续草拟位置的需求不一致。

核心思路：ReaDy的核心思路是利用混合线性注意力模型的递归状态，为每个草拟位置提供特定的上下文检索。通过学习的查询，直接从目标的递归状态中检索补充上下文，从而提高生成效率。

技术框架：ReaDy的整体架构包括一个轻量级的状态读取器，该读取器通过残差更新将检索到的上下文整合到草拟表示中。此外，低秩状态读取和融合操作确保了额外计算和I/O开销的降低。

关键创新：ReaDy是首个将混合线性注意力模型的递归状态应用于推测解码的方法。其创新之处在于通过位置特定的上下文检索，显著提升了生成效率和准确性。

关键设计：在设计中，ReaDy采用了轻量级的两阶段适应策略，针对读取器容量、状态源和残差放置进行了消融研究，以优化性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ReaDy在七个基准测试中实现了平均3.16倍的解码速度提升，相较于自回归解码，表现出显著的性能优势。此外，ReaDy在每个基准上均超越了DSpark，平均提升了7.97%的吞吐量和8.50%的接受长度。

🎯 应用场景

ReaDy的研究成果在自然语言处理领域具有广泛的应用潜力，尤其是在需要快速生成文本的场景，如对话系统、代码生成和数学问题求解等。其高效的推测解码方法能够显著提升生成模型的响应速度和准确性，推动智能助手和自动化工具的发展。

📄 摘要（原文）

Speculative decoding accelerates autoregressive generation by drafting multiple tokens per step, yet feature-based drafters rely on target hidden features whose contextual emphasis may not align with the needs of subsequent draft positions. Hybrid linear attention (HLA) models maintain compact recurrent states that accumulate historical associations, offering an efficient source of complementary context for speculative drafting. We introduce ReaDy, the first speculative decoding method, to the best of our knowledge, to leverage HLA recurrent states for position-specific context retrieval during drafting. ReaDy equips each draft position with a learned query to retrieve supplementary context directly from the target's committed recurrent states. A lightweight state reader integrates this context into draft representations through residual updates, while low-rank state reads and fused operators keep additional computation and I/O overhead low. Building on DSpark's parallel backbone and sequential prediction head, ReaDy employs a lightweight two-stage adaptation strategy, with reader capacity, state sources, and residual placement examined through ablation studies. Across seven benchmarks spanning mathematics, code generation, and dialogue, ReaDy achieves an average $3.16\times$ decoding speedup over autoregressive decoding with Qwen3.8-27B on a single NVIDIA B200 GPU. It outperforms DSpark on every benchmark, improving throughput by 7.97% and acceptance length by 8.50% on average. Our code is available at https://github.com/StartLuxLabs/ReaDy.