RCSD: Reinforcement and Continual Learning for Domain-Specific Speculative Decoding

📄 arXiv: 2610.29527v1 📥 PDF

作者: Mingkang Liu, Weiming Meng, Peipei Jiao, Jiawei Zhang, Tianyuan Liu, Junyan Li, Lichen Pang

分类: cs.CL

发布日期: 2026-10-21

备注: 9 pages, 3 figures

💡 一句话要点

提出RCSD框架以提升领域特定的推测解码效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 推测解码 强化学习 持续学习 模型优化 自然语言处理

📋 核心要点

  1. 现有方法依赖软标签蒸馏，导致草稿模型在高熵区域的表现不佳，增加了拒绝风险。
  2. RCSD框架通过强化学习和持续学习，将草稿模型优化与系统目标对齐，提升接受率。
  3. RCSD在多个基准测试中表现优异，接受长度提高35%，推理速度提升1.35倍，且生成质量保持不变。

📝 摘要（中文）

推测解码通过使用紧凑的草稿模型加速大型语言模型的推理，草稿模型提出候选标记并由目标模型并行验证。传统训练依赖软标签蒸馏，导致草稿模型需模仿目标模型的完整输出分布，尤其是高熵区域，这降低了接受率并增加了早期拒绝风险。本文提出RCSD（强化与持续学习的推测解码），该框架将草稿模型优化与最大化接受长度的系统级目标对齐。RCSD利用推测推理中自然发生的接受和拒绝序列构建隐式偏好对，并采用掩蔽损失避免惩罚与目标对齐的标记。经过多项基准评估，RCSD在接受长度上比HASS提高了35%，在实际工作负载下实现了1.35倍的端到端推理加速，同时不影响生成质量。

🔬 方法详解

问题定义：本文旨在解决传统推测解码训练中草稿模型在高熵区域表现不佳的问题，导致接受率低和早期拒绝风险增加。

核心思路：RCSD框架通过强化学习和持续学习，利用推测推理中自然发生的接受和拒绝序列，构建隐式偏好对，从而优化草稿模型的输出。

技术框架：RCSD的整体架构包括草稿模型和目标模型两个主要模块，草稿模型负责生成候选标记，目标模型并行验证这些标记的有效性。训练过程中，采用掩蔽损失函数来避免惩罚与目标对齐的标记。

关键创新：RCSD的核心创新在于将草稿模型的优化与系统级目标（最大化接受长度）对齐，克服了传统方法的局限性，提升了接受率。

关键设计：在损失函数设计上，RCSD采用掩蔽损失，确保草稿模型在训练时不会因高熵区域的标记而受到惩罚，从而提高了模型的整体性能。整体流程中，强化学习的引入使得模型能够更好地适应实际推理场景。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RCSD在多个基准测试中表现突出，平均接受长度比HASS提高了35%，并在实际工作负载下实现了1.35倍的推理速度提升，显示出其在效率和生成质量上的优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的文本生成、对话系统和机器翻译等。通过提升推测解码的效率，RCSD能够在实际应用中显著提高响应速度和用户体验，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Speculative decoding accelerates large language model inference by employing a compact draft model to propose candidate tokens that are verified in parallel by a target model. Conventional training relies on soft-label distillation, which forces the draft model to mimic the target's full output distribution, including high-entropy regions that degrade acceptance rates and increase early rejection risk. We propose RCSD (Reinforcement and Continual Learning for Speculative Decoding), a training framework that aligns draft model optimization with the system-level objective of maximizing acceptance length. RCSD leverages naturally occurring accepted and rejected sequences during speculative inference to construct implicit preference pairs, with masked loss to avoid penalizing target-aligned tokens. Evaluated across multiple benchmarks, RCSD improves average acceptance length by 35% over HASS and achieves 1.35x faster end-to-end inference than HASS on practical workloads, without compromising generation quality.