Reducing Temporal Redundancy for Efficient Vision-Language-Action Inference
作者: Yuzhou Wu, Yuxin Zheng, Muchun Niu, Yishan Yang, Tianhao Liu, hanwen kang, Jiajian Jing, Linfeng Zhang, Chuan Wen
分类: cs.RO
发布日期: 2026-07-14
备注: 13pages, 7 figuers
💡 一句话要点
提出系统级加速策略以解决视觉-语言-动作推理中的时间冗余问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 推理效率 时间冗余 增量更新 扩散采样 机器人操作 系统级加速
📋 核心要点
- 现有的视觉-语言-动作模型在推理时存在高延迟，限制了其在实时场景中的应用。
- 提出了一种系统级加速策略，通过增量更新和压缩采样来减少计算量，提高推理效率。
- 实验结果显示，该方法在多个平台上实现了超过2倍的速度提升，成功率高达98%。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在机器人操作中展现出强大的泛化能力，但其高推理延迟限制了实时部署。我们识别出现有VLA管道中的两个主要时间冗余来源：对高度相似的连续帧进行重复视觉编码，以及基于扩散的策略中的多步迭代采样。为此，我们提出了一种系统级加速策略，减少感知和动作生成中的计算。在感知方面，我们仅增量更新动态场景区域对应的标记，而不是重新编码整个帧。在策略方面，我们通过高效训练将扩散采样压缩为紧凑的两步调度，同时保持动作精度。在Libero、RobotWin和真实机器人平台上的实验表明，速度提升超过2倍，同时保持高性能，在通用操作基准上成功率达到98%。我们的代码将发布在Github上。
🔬 方法详解
问题定义：本论文旨在解决视觉-语言-动作（VLA）模型在推理过程中存在的时间冗余问题，主要体现在对相似连续帧的重复编码和扩散策略中的多步采样上。这些冗余导致了高推理延迟，限制了实时应用的可能性。
核心思路：论文提出了一种系统级的加速策略，重点在于通过增量更新动态场景区域的标记，避免对整个帧的重复编码。同时，通过高效训练将扩散采样压缩为两步调度，以保持动作的精确性。
技术框架：整体架构包括两个主要模块：感知模块和策略模块。在感知模块中，仅更新动态区域的标记，而在策略模块中，通过压缩采样流程来提高效率。
关键创新：最重要的创新在于提出了增量更新和压缩采样的结合，显著减少了计算量，同时保持了模型的性能。这一方法与现有的全帧编码和多步采样方法有本质区别。
关键设计：在设计中，采用了针对动态区域的增量更新策略，并在扩散采样中引入了高效训练机制，以确保在减少计算的同时不损失动作的精度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在Libero、RobotWin和真实机器人平台上实现了超过2倍的速度提升，同时在通用操作基准上成功率高达98%。这一显著的性能提升证明了方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用场景包括机器人操作、自动化生产线和智能家居等领域。通过提高视觉-语言-动作模型的推理效率，可以实现更快速的响应和更高效的操作，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Vision-Language-Action (VLA) models exhibit strong generalization for robotic manipulation, yet their high inference latency limits real time deployment. We identify two primary sources of temporal redundancy in existing VLA pipelines: repeated visual encoding of highly similar consecutive frames and multi step iterative sampling in diffusion based policies. To address this, we propose a system level acceleration strategy that reduces computation in both perception and action generation. On the perception side, we incrementally update only tokens corresponding to dynamic scene regions instead of re-encoding entire frames. On the policy side, we compress diffusion sampling into a compact 2-step schedule through efficiency oriented training while preserving action precision. Experiments on Libero, RobotWin, and Real Robot Platforms demonstrate over 2 times speedup while maintaining high performance, achieving up to 98% success rate on general manipulation benchmarks. Our codes will be released on Github.