rMuscle: Robotic Muscle Memory for Efficient Vision-Language-Action Model Inference
作者: Kaijun Zhou, Zhiyang Li, Le Chen, Jinyu Gu
分类: cs.RO, cs.AI
发布日期: 2026-09-16
💡 一句话要点
提出rMuscle以提升视觉-语言-动作模型推理效率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 推理效率 机器人技术 肌肉记忆 工业自动化 智能制造 深度学习
📋 核心要点
- 现有的视觉-语言-动作模型推理框架未能充分利用具身工作负载的特性，导致推理延迟影响机器人响应速度。
- 提出的rMuscle框架通过双阶段肌肉记忆缓存，利用重复任务之间的相似性来优化推理效率。
- 在多个任务上，rMuscle实现了1.29-1.42倍的速度提升，同时保持了机器人在真实环境中的成功率。
📝 摘要（中文）
工厂工作是具备潜力的具身人工智能早期应用场景，将重复性手工工作分配给机器人具有明显的经济效益。视觉-语言-动作（VLA）模型作为这些机器人的政策范式，其推理延迟直接影响机器人的响应速度和运动平滑性。现有的VLA推理框架未能充分利用具身工作负载的特性，也未考虑不同阶段的推理瓶颈。本文首先对具身工作负载进行特征化，发现重复执行任务之间存在显著的相似性，并提出了rMuscle，一个受人类肌肉记忆启发的实时VLA推理框架。该框架通过双阶段肌肉记忆缓存利用跨执行相似性，Context Cache重用视觉标记输出以减少计算，Action Cache重用神经元激活模式以减少权重访问。rMuscle在保持原有成功率的同时，在多个任务上实现了1.29-1.42倍的加速。
🔬 方法详解
问题定义：本文旨在解决现有视觉-语言-动作模型推理效率低下的问题，现有方法未能充分利用具身工作负载的特性，导致推理延迟和响应速度不足。
核心思路：rMuscle框架的核心思想是借鉴人类的肌肉记忆，通过双阶段缓存机制来重用任务执行中的相似性，从而提高推理效率。
技术框架：rMuscle的整体架构包括Context Cache和Action Cache两个主要模块，Context Cache用于重用视觉标记输出，Action Cache用于重用神经元激活模式。
关键创新：rMuscle的主要创新在于其双阶段肌肉记忆缓存设计，能够有效减少计算和权重访问，与传统VLA推理框架相比，显著提升了推理速度。
关键设计：在设计中，rMuscle采用在线缓存重计算、滑动窗口缓存检索和跨连续去噪步骤的掩码共享等技术，以保持缓存的内存占用和访问开销较低。
🖼️ 关键图片
📊 实验亮点
rMuscle在多个任务上实现了1.29-1.42倍的速度提升，具体测试在RTX 4090和Jetson Thor平台上进行，且在保持原有成功率的情况下，显著提高了机器人在真实环境中的响应能力。
🎯 应用场景
该研究的潜在应用场景包括工业自动化、智能制造和服务机器人等领域。通过提升机器人在重复性任务中的推理效率，rMuscle有望显著降低生产成本，提高工作效率，推动具身人工智能的实际应用。未来，随着技术的进一步发展，rMuscle可能在更多复杂场景中展现出其价值。
📄 摘要（原文）
Factory work is a promising early scenario for embodied AI: assigning repetitive manual jobs to robots has clear economic payoff, and a structured station keeps the jobs tractable for current policies. Vision-Language-Action (VLA) models now dominate as the policy paradigm for these robots. The inference latency of VLA models directly affects robot responsiveness and motion smoothness. However, existing VLA inference frameworks do not fully exploit the characteristics of embodied workloads or account for the distinct bottlenecks across different stages of VLA inference. In this paper, we first characterize embodied workloads and identify substantial task similarity across repeated robot executions. We further find that such similarity extends beyond observations and action trajectories to internal model states. Drawing on these observations, we present rMuscle, a real-time VLA inference framework inspired by human muscle memory. It exploits cross-execution similarity through a dual-phase muscle-memory cache. The Context Cache reuses visual-token outputs to reduce computation, while the Action Cache reuses neuron activation patterns to reduce weight accesses. We keep both the cache memory footprint and access overhead low through online cache recomputation, sliding-window cache retrieval, and mask sharing across consecutive denoising steps. rMuscle achieves 1.29-1.42X speedup on RTX 4090 and Jetson Thor across LIBERO, RoboTwin, and physical manipulation tasks, while maintaining the original success rates on real-world robots.