DySCo: Dynamic Sharding for Collaborative Edge-Cloud LLM Inference with Depth-Synchronized Batching
作者: Jingpo Xu, Paul Joe Maliakel, Ivona Brandic, Shashikant Ilager
分类: cs.DC, cs.AI, cs.LG, eess.SY
发布日期: 2026-10-06
备注: article under submission
🔗 代码/项目: GITHUB
💡 一句话要点
提出DySCo以解决边缘云协作LLM推理中的动态分片问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 边缘计算 大型语言模型 协作推理 动态分片 深度同步批处理 性能优化 资源管理
📋 核心要点
- 现有的边缘-云推理方法在处理异构请求时存在低效问题，导致延迟增加和资源浪费。
- DySCo通过保持KV缓存本地和引入深度同步批处理，优化了边缘设备与云端的协作推理过程。
- 实验结果显示，DSB显著提高了吞吐量和降低了延迟，验证了其在多边缘服务环境中的有效性。
📝 摘要（中文）
随着智能应用在移动和物联网边缘设备上的广泛部署，大型语言模型（LLMs）也越来越多地被应用于这些场景。然而，由于其高资源需求，LLMs通常在云端部署。层级边缘-云推理允许资源受限的边缘设备为无法完全托管的LLMs贡献计算能力，但异构的分割点导致了两种耦合的低效问题。本文提出DySCo，一个协作运行时，保持KV缓存本地，并引入模型感知的层范围执行器dyForward，能够从驻留模型分片中运行可配置的连续层范围而无需重新加载权重。针对多边缘服务设置，提出深度同步批处理（DSB），将异构请求推进到最深切分并批处理其公共后缀。实验结果表明，DSB在八个并发请求的平均情况下，吞吐量比FIFO提高275%，比精确匹配批处理提高48%，比轮询交错提高79%，同时减少了每会话的平均延迟。
🔬 方法详解
问题定义：本文旨在解决在边缘设备与云端协作推理中，由于异构分割点导致的低效问题，尤其是边缘执行和通信造成的空闲间隙，以及不同模型深度请求无法常规批处理的问题。
核心思路：DySCo的核心思路是通过保持KV缓存本地和使用dyForward执行器，减少模型权重的重新加载，并通过深度同步批处理（DSB）来优化异构请求的处理，提升整体推理效率。
技术框架：DySCo的整体架构包括KV缓存管理模块、dyForward执行器和深度同步批处理模块。KV缓存管理模块负责本地缓存的维护，dyForward执行器负责执行指定层范围的计算，而DSB模块则负责将异构请求进行深度同步和批处理。
关键创新：DySCo的主要创新在于引入了深度同步批处理（DSB），使得不同边缘-云分割的请求能够重用驻留云权重，并共享批处理后缀计算，这在现有方法中是未曾实现的。
关键设计：在设计中，dyForward执行器允许配置连续层范围的执行，避免了不必要的权重加载。同时，DSB通过将请求推进到最深切分并批处理其公共后缀，显著提高了处理效率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在平均八个并发请求的情况下，深度同步批处理（DSB）相较于FIFO提升了275%的吞吐量，较精确匹配批处理提升了48%，并较轮询交错提升了79%，同时有效降低了每会话的平均延迟，验证了其在多边缘服务环境中的优越性。
🎯 应用场景
该研究的潜在应用领域包括智能手机、物联网设备和边缘计算平台等，能够有效支持需要高性能推理的智能应用。通过优化边缘设备与云端的协作，DySCo有望在实时自然语言处理、智能助手和其他智能服务中发挥重要作用，提升用户体验。
📄 摘要（原文）
Pervasive intelligent applications are increasingly deployed on mobile and Internet of Things (IoT) edge devices. Consequently, Large Language Models (LLMs) are increasingly used to support these applications. Yet, due to their high resource demands, LLMs are mostly deployed in the cloud. Layer-wise edge-cloud inference lets resource-constrained edge devices contribute computation to LLMs they cannot host in full. However, heterogeneous split points introduce two coupled inefficiencies. First, edge execution and communication create idle gaps between cloud invocations. Second, requests arriving at different model depths cannot be conventionally batched. We present DySCo, a collaborative runtime that keeps KV caches local and introduces dyForward, a model-aware layer-range executor that runs configurable contiguous layer ranges from resident model shards without reloading weights. For multi-edge serving settings, we introduce depth-synchronized batching (DSB), which advances heterogeneous requests to the deepest cut and batches their common suffix. Experiments across heterogeneous devices, two model families, and local and wide-area links show that idle gaps increase the latency of subsequent GPU forward calls even when waiting time is excluded, adding up to 25 ms of additional cloud-side suffix latency per decoding step in our measurements. At an average concurrency of eight, DSB improves throughput by 275% over FIFO, 48% over exact-match batching, and 79% over round-robin interleaving while reducing mean per-session latency. Together, these results show that requests with different edge-cloud splits can reuse resident cloud weights and share batched suffix computation. The artifact repository for this work is publicly available at: https://github.com/Large-scale-Sustainable-Computing-LSC/dysco-artifact