Towards Resiliency in Large Language Model Serving with KevlarFlow

📄 arXiv: 2601.22438v1 📥 PDF

作者: Shangshu Qian, Kipling Liu, P. C. Sruthi, Lin Tan, Yongle Zhang

分类: cs.DC, cs.CL, cs.LG

发布日期: 2026-01-30

💡 一句话要点

KevlarFlow：面向大规模语言模型服务，提升硬件故障下的系统韧性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大规模语言模型服务 容错系统 高可用性 动态路由 KV缓存 故障恢复 模型并行

📋 核心要点

  1. 现有LLM服务系统在硬件故障面前脆弱，恢复时间长，严重影响服务可用性。
  2. KevlarFlow通过解耦初始化、动态路由和KV缓存复制，实现故障下的高吞吐和快速恢复。
  3. 实验表明，KevlarFlow显著降低了平均恢复时间，并大幅提升了延迟和首个token时间。

📝 摘要（中文）

大规模语言模型（LLM）服务系统本质上仍然脆弱，超大规模集群中频繁的硬件故障会在软件栈中引发不成比例的服务中断。目前的恢复机制速度过慢，通常需要长达10分钟的时间来重新初始化资源和重新加载庞大的模型权重。我们提出了KevlarFlow，一种容错服务架构，旨在弥合硬件不可靠性和服务可用性之间的差距。KevlarFlow利用1)解耦的模型并行初始化，2)动态流量重路由，以及3)后台KV缓存复制，以在部分故障期间保持高吞吐量。我们的评估表明，与最先进的LLM服务系统相比，KevlarFlow将平均恢复时间（MTTR）减少了20倍，并且在故障条件下，平均延迟提高了3.1倍，第99百分位数（p99）延迟提高了2.8倍，平均首个token时间（TTFT）提高了378.9倍，p99 TTFT提高了574.6倍，而运行时开销可忽略不计。

🔬 方法详解

问题定义：大规模语言模型服务面临硬件故障带来的服务中断问题。现有恢复机制，如重新初始化资源和重新加载模型权重，耗时过长（高达10分钟），严重影响服务可用性。因此，需要一种能够快速恢复并保持服务高可用的容错架构。

核心思路：KevlarFlow的核心思路是通过解耦模型初始化、动态流量重路由和后台KV缓存复制，在部分硬件故障发生时，快速切换到可用资源，并保持服务的连续性和高吞吐量。这种设计旨在最小化故障对用户体验的影响。

技术框架：KevlarFlow的整体架构包含以下几个关键模块：1) 解耦模型并行初始化：将模型权重加载与服务初始化分离，允许在后台预加载模型，减少故障恢复时间。2) 动态流量重路由：监控各个节点的健康状态，并将流量动态地路由到健康的节点，避免故障节点影响服务。3) 后台KV缓存复制：在后台复制KV缓存，确保在节点故障时，可以快速恢复缓存数据，避免冷启动带来的性能下降。

关键创新：KevlarFlow的关键创新在于其综合利用了多种容错技术，并针对LLM服务的特点进行了优化。与传统的容错方法相比，KevlarFlow更加注重在故障发生时保持服务的性能和可用性，而不是简单地重启服务。解耦初始化和动态路由的结合，使得系统能够在故障发生时快速切换到可用资源，而KV缓存复制则保证了缓存数据的可用性。

关键设计：KevlarFlow的具体实现细节包括：1) 使用分布式KV存储来管理模型权重和KV缓存。2) 实现了一个轻量级的健康检查机制，用于监控各个节点的健康状态。3) 设计了一个动态路由算法，根据节点的健康状态和负载情况，将流量路由到最优的节点。4) 采用异步复制的方式来复制KV缓存，避免阻塞服务请求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，KevlarFlow相比于现有LLM服务系统，在故障情况下显著提升了性能。平均恢复时间（MTTR）降低了20倍，平均延迟提高了3.1倍，p99延迟提高了2.8倍，平均首个token时间（TTFT）提高了378.9倍，p99 TTFT提高了574.6倍，而运行时开销可忽略不计。这些数据表明KevlarFlow在保证服务可用性的同时，也能够提供更好的用户体验。

🎯 应用场景

KevlarFlow可应用于各种需要高可用性和低延迟的大规模语言模型服务场景，例如在线对话机器人、智能客服、文本生成等。该研究成果有助于提升LLM服务在生产环境中的稳定性和可靠性，降低因硬件故障导致的服务中断风险，并为未来的容错LLM服务架构设计提供参考。

📄 摘要（原文）

Large Language Model (LLM) serving systems remain fundamentally fragile, where frequent hardware faults in hyperscale clusters trigger disproportionate service outages in the software stack. Current recovery mechanisms are prohibitively slow, often requiring up to 10 minutes to reinitialize resources and reload massive model weights. We introduce KevlarFlow, a fault tolerant serving architecture designed to bridge the gap between hardware unreliability and service availability. KevlarFlow leverages 1) decoupled model parallelism initialization, 2) dynamic traffic rerouting, and 3) background KV cache replication to maintain high throughput during partial failures. Our evaluation demonstrates that KevlarFlow reduces mean-time-to-recovery (MTTR) by 20x and, under failure conditions, improves average latency by 3.1x, 99th percentile (p99) latency by 2.8x, average time-to-first-token (TTFT) by 378.9x, and p99 TTFT by 574.6x with negligible runtime overhead in comparison to state-of-the-art LLM serving systems.