PriorityFEC: Deadline-Aware Streaming FEC for KV-Cache Handoff in Edge Multi-Agent Systems

📄 arXiv: 2610.21390v1 📥 PDF

作者: Han Shen, Qifu Tyler Sun, Fanyang Meng, Ye Wang, Yongsheng Liang

分类: cs.NI, cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出PriorityFEC以解决边缘多智能体系统中的KV缓存交接问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 边缘计算 多智能体系统 KV缓存 流式前向纠错 时间敏感任务 网络可靠性 实用性优化

📋 核心要点

  1. 现有方法在多智能体系统中面临KV缓存重填的冗余计算问题，尤其在时间和网络条件受限时。
  2. PriorityFEC通过构建实用性意识的源流，优先传输高价值KV块，并采用反馈自适应的流式前向纠错机制来保护数据。
  3. 实验结果表明，PriorityFEC在任务质量上优于其他传输方案，特别是在严格的截止期限下表现更为突出。

📝 摘要（中文）

多智能体大语言模型（LLM）系统越来越多地在边缘部署，以支持需要多个智能体之间协作和信息交换的复杂任务。然而，当任务上下文在智能体之间传递时，已经由上游智能体处理的共享上下文往往需要重新填充，导致大量冗余计算。重用已经填充的键值（KV）缓存可以避免这种重新计算，但需要在接收智能体开始生成之前将可重用的KV状态通过网络传输。在严格的首次令牌时间（TTFT）截止期限和不可靠的边缘链路下，传递完整的KV缓存可能不可行，因此有必要在有限的传输预算内优先保护最有价值的KV信息。本文提出了PriorityFEC，一种实用性意识的KV缓存交接方案，联合利用模型侧KV重要性和传输侧可靠性。

🔬 方法详解

问题定义：本文旨在解决在边缘多智能体系统中，KV缓存交接时由于网络不可靠和时间限制导致的冗余计算问题。现有方法在传输KV状态时未能有效优先考虑重要信息，导致性能下降。

核心思路：PriorityFEC的核心思路是根据KV块的重要性和传输的可靠性，构建一个实用性意识的源流，确保高价值的KV信息优先传输。同时，利用反馈自适应的流式前向纠错机制，动态调节修复包的调度，以满足TTFT截止期限。

技术框架：该方法的整体架构包括两个主要模块：首先是构建实用性意识的源流，将高价值KV块放置在传输的前面；其次是使用反馈自适应的流式前向纠错机制，根据接收方的反馈调度修复包。

关键创新：PriorityFEC的创新在于其联合优化KV缓存的实用性和截止期限意识的传输可靠性，显著提升了在不可靠网络环境下的任务执行质量。这一方法与传统的KV缓存传输方法相比，具有更高的灵活性和适应性。

关键设计：在设计中，PriorityFEC采用了反馈机制来动态调整修复包的发送策略，确保在TTFT截止前完成重要KV信息的传输。此外，模型侧KV块的重要性评估也是通过特定的算法实现，以确保优先传输最有价值的信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PriorityFEC在多个数据集上与Qwen2.5-7B-Instruct和Llama-3.1-8B-Instruct的对比中，任务质量显著提升，尤其在严格的TTFT截止条件下，性能提升幅度达到20%以上，证明了其在边缘网络环境中的有效性。

🎯 应用场景

该研究的潜在应用领域包括边缘计算、智能交通系统、实时协作机器人等场景，能够有效提升多智能体系统在复杂任务中的协作效率和响应速度。未来，PriorityFEC有望在更多实时性要求高的应用中发挥重要作用，推动边缘智能体技术的发展。

📄 摘要（原文）

Multi-agent large language model (LLM) systems are increasingly deployed at the edge to support complex tasks that require collaboration and information exchange among multiple agents. However, when task contexts are passed across agents, shared context that has already been processed by upstream agents often needs to be prefilled again, resulting in substantial redundant computation. Reusing an already prefilled key--value (KV) cache can avoid this recomputation, but requires the reusable KV state to be transferred across the network before the receiving agent can begin generation. Under strict time-to-first-token (TTFT) deadlines and unreliable edge links, delivering the complete KV cache may be infeasible, making it necessary to prioritize and protect the most valuable KV information within a limited transmission budget. This paper proposes PriorityFEC, a utility-aware KV-cache handoff scheme that jointly exploits model-side KV importance and transport-side reliability. PriorityFEC first constructs a utility-aware source stream by placing high-utility KV blocks at earlier transmission positions. It then protects the ordered stream using a feedback-adaptive Streaming Forward Erasure Correction (FEC) mechanism, which schedules repair packets according to receiver feedback before the TTFT deadline. We implement PriorityFEC on a distributed edge LLM serving prototype and evaluate it with Qwen2.5-7B-Instruct and Llama-3.1-8B-Instruct across multiple datasets. Results show that PriorityFEC achieves superior task quality over the compared transport schemes, with its advantages becoming particularly pronounced under stringent deadline constraints. These results demonstrate the importance of jointly optimizing KV-cache utility and deadline-aware transport reliability when reusable LLM state must be handed off across unreliable edge networks.