Efficient Vision-Language-Action Management and Serving for Robot Factories
作者: Dionysios Adamopoulos, Nattapol Chanpaisit, Basel Fakhri, Christina Giannoula
分类: cs.DC, cs.AR, cs.LG, cs.PF, cs.RO
发布日期: 2026-09-10
💡 一句话要点
提出Robion以解决多机器人多模型请求的VLA推理问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 多模态推理 服务水平目标 流量控制 边缘计算 多GPU系统 动态资源分配 智能制造
📋 核心要点
- 现有的VLA推理系统在多请求、多模型执行时缺乏支持，且难以满足严格的服务水平目标(SLOs)。
- Robion通过动态流分离和智能流量控制，优化了多GPU边缘服务器上的VLA推理，确保了SLOs的达成。
- 实验表明，Robion在98% SLO达成率下，机器人负载能力比现有系统分别提高了6.7倍和1.5倍。
📝 摘要（中文）
Vision-Language-Action (VLA)模型通过两阶段设计展现出高效的机器人操作能力，但由于推理延迟的严格要求，现有方法在多机器人环境中面临挑战。本文提出Robion，一个针对多机器人、多模型请求的VLA服务与管理系统，能够在多GPU边缘服务器上满足服务水平目标(SLOs)。Robion通过动态流分离和智能流量控制，显著提高了机器人负载能力，实验结果显示其在98% SLO达成率下，性能优于现有系统。
🔬 方法详解
问题定义：本文旨在解决现有VLA推理系统在多机器人、多模型请求下的延迟和服务水平目标(SLOs)达成问题。现有方法在多GPU环境中缺乏有效的请求管理与资源分配，导致性能瓶颈。
核心思路：Robion的核心思路是通过流分离技术和智能流量控制，实现多模型的高效服务与管理。该设计确保了在GPU资源有限的情况下，依然能够满足严格的延迟要求。
技术框架：Robion的整体架构包括服务引擎和管理引擎。服务引擎负责VLM和ADiT阶段的流分离与动态资源分配，管理引擎则优化模型在多GPU服务器上的放置与请求调度。
关键创新：Robion的主要创新在于其流分离机制，能够在同一GPU上动态管理VLM和ADiT阶段的计算资源，同时通过智能流量控制实现模型的高效共存。与现有方法相比，Robion在资源利用率和响应时间上有显著提升。
关键设计：在设计中，Robion通过动态限制VLM流的流处理单元(SM)，确保ADiT阶段始终有可用的SM进行计算。此外，智能流量控制算法根据请求的剩余SLO时间优先处理任务，进一步提升了系统的整体性能。
🖼️ 关键图片
📊 实验亮点
Robion在大规模实验中表现出色，能够在98% SLO达成率下，支持多达64个机器人同时服务，且其性能比现有的vLLM-Omni和Monolithic系统分别提高了6.7倍和1.5倍，展示了其在多模型请求管理中的显著优势。
🎯 应用场景
该研究的潜在应用领域包括智能制造、自动化仓储和服务机器人等场景。Robion能够在多机器人协作中实现高效的任务执行，提升生产效率和安全性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Vision-Language-Action (VLA) models show high robotic manipulation capabilities via a two-stage design: a Vision-Language Model (VLM) stage followed by an Action Diffusion Transformer (ADiT) stage. Since robots must meet strict Service-Level Objectives (SLOs) for safety, VLA inference is inherently latency-critical. Meeting these SLOs requires high-end GPUs, yet weight, cost, and power constraints preclude integrating such GPUs on-robot. Prior works offload VLA inference to edge servers that serve many robots on VLA models. However, current VLA systems lack support for multi-request, multi-model execution on a multi-GPU server under SLOs, while existing serving systems for multi-stage models are optimized for throughput and stage disaggregation across separate GPUs, which are ill-suited for the millisecond-scale stages of VLA models. We design Robion, the first VLA serving and management system for multi-robot, multi-model requests on multi-GPU edge servers that meets SLOs. Our serving engine disaggregates the VLM and ADiT stages within a GPU via two streams, dynamically restricting the SMs on VLM stream so ADiT always finds SMs to run alongside it, and co-locates multiple models by sharing these streams across them, prioritizing requests by least remaining SLO time. Our management engine enables flexible model placements on multi-GPU servers, and integrates an intelligent traffic controller that maximizes per-model batching under the chosen placement while bounding each GPU's load to meet SLOs. For individual models, Robion serves on average 6.7$\times$ and 1.5$\times$ higher robot load within 98% SLO attainment over vLLM-Omni, the most widely used multi-stage serving system, and Monolithic, which runs VLM and ADiT as a single pipeline, respectively. In a large-scale experiment of serving 8 different models on a 4-GPU server, Robion can serve up to 64 robots within 98% SLO attainment.