UniPrefill: Universal Long-Context Prefill Acceleration via Block-wise Dynamic Sparsification

📄 arXiv: 2605.06221v1 📥 PDF

作者: Qihang Fan, Huaibo Huang, Zhiying Wu, Bingning Wang, Ran He

分类: cs.CL

发布日期: 2026-05-07

备注: code: https://github.com/qhfan/UniPrefill.git

💡 一句话要点

提出UniPrefill框架，通过块级动态稀疏化实现通用长上下文预填充加速

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 长上下文推理 预填充加速 动态稀疏化 vLLM优化 连续批处理

📋 核心要点

  1. 现有稀疏注意力加速方法高度依赖特定模型架构，难以适配混合架构且与连续批处理机制不兼容。
  2. UniPrefill通过块级动态稀疏化技术，在Token级别实现通用加速，解耦了模型架构与加速算子。
  3. 该框架成功集成至vLLM，支持张量并行与协同调度，在多并发场景下显著降低首字延迟（TTFT）。

📝 摘要（中文）

随着大语言模型（LLM）的发展，对长上下文处理的需求日益增长。为提升长上下文推理效率，近期涌现了多种低复杂度混合架构。然而，现有的预填充加速研究主要集中于稀疏注意力机制，在全注意力模型上效果显著，但迁移至线性/全注意力混合或滑动窗口/全注意力混合等新兴架构时性能大幅下降，且难以兼容vLLM等现代推理引擎的连续批处理机制。为此，本文提出了UniPrefill，这是一个适用于几乎所有模型架构的预填充加速框架，通过在Token级别直接加速计算。我们将其实现为连续批处理算子，并扩展了vLLM的调度策略，以原生支持预填充-解码协同处理及张量并行。实验表明，UniPrefill在首字延迟（TTFT）上实现了高达2.1倍的加速，且随着并发请求数的增加，加速效果愈发显著。

🔬 方法详解

问题定义：现有长上下文预填充加速方法多局限于特定的稀疏注意力机制，导致其在混合架构（如线性/全注意力混合）中表现不佳，且无法直接融入vLLM等现代推理引擎的连续批处理流水线中。

核心思路：UniPrefill采用块级动态稀疏化策略，将加速逻辑从特定的注意力机制中剥离，直接作用于Token计算层，从而实现对不同模型架构的通用适配。

技术框架：该框架包含一个动态稀疏化算子，能够根据输入特征动态识别并跳过冗余计算。同时，通过扩展vLLM的调度器，实现了预填充与解码阶段的协同处理，并支持跨设备的张量并行计算。

关键创新：与以往针对特定注意力模式的优化不同，UniPrefill在Token级别进行操作，这种架构无关性使其能够无缝兼容各种主流LLM架构，并原生支持生产环境中的连续批处理。

关键设计：核心在于块级动态稀疏化算法，该算法通过高效的掩码机制减少计算量，并结合vLLM的内存管理策略，优化了KV缓存的读写效率，确保在处理长序列时保持高吞吐量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，UniPrefill在多种主流模型架构上均表现出卓越的加速性能，首字延迟（TTFT）最高可提升2.1倍。随着并发请求数量的增加，该框架的加速优势进一步扩大，证明了其在处理大规模生产负载时的鲁棒性与高效性，优于现有的基线稀疏化方案。

🎯 应用场景

UniPrefill适用于需要处理超长文档、复杂代码库分析及长对话的工业级LLM推理场景。其对vLLM的深度集成使其能够直接部署于云端推理服务，显著提升高并发环境下的用户响应速度（TTFT），特别是在金融、法律及科研等对长上下文依赖极高的领域具有重要应用价值。

📄 摘要（原文）

As large language models (LLMs) continue to advance rapidly, they are becoming increasingly capable while simultaneously demanding ever-longer context lengths. To improve the inference efficiency of long-context processing, several novel low-complexity hybrid architectures have recently been proposed, effectively alleviating the computational burden of long-context inference. However, existing research on long-context prefill acceleration remains predominantly focused on sparse attention mechanisms, which achieve their maximum speedup only on full-attention models. When transferred to emerging architectures--such as linear/full attention hybrids or sliding window/full attention hybrids--these prefill acceleration approaches suffer significant performance degradation. Furthermore, such methods are generally incompatible with continuous batching, making them difficult to integrate into modern inference engines such as vLLM. To this end, we propose UniPrefill, a prefill acceleration framework applicable to virtually any model architecture, which directly accelerates the model's computation at the token level. We further implement UniPrefill as a continuous batching operator and extend vLLM's scheduling strategy to natively support prefill-decode co-processing and tensor parallel for UniPrefill, enabling its seamless integration into vLLM. UniPrefill achieves up to 2.1x speedup in Time-To-First-Token (TTFT), with the acceleration becoming increasingly pronounced as the number of concurrent requests grows.