Evolving Cache Schedules for Fast Diffusion Policy Inference

📄 arXiv: 2607.20293v1 📥 PDF

作者: Siying Wang, Kangye Ji, Di Wang, Fei Cheng

分类: cs.CV

发布日期: 2026-07-22

备注: 15 pages, 3 figures, supplementary material included. Accepted by PRCV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出EVO以解决扩散策略推理中的计算效率问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 扩散策略 缓存调度 计算效率 进化搜索 实时推理 视觉运动控制 冗余计算

📋 核心要点

  1. 现有的扩散策略在实时部署中面临高计算需求，尤其是在重复去噪过程中。
  2. EVO通过进化搜索全局调度缓存刷新，优化了计算资源的使用，提升了推理效率。
  3. 实验表明，EVO在保持接近完整性能的同时，实现了高达8.05倍的速度提升和FLOPs显著降低。

📝 摘要（中文）

扩散策略通过迭代去噪动作块实现强大的视觉运动控制，但重复去噪使得实时部署计算需求高。基于缓存的方法通过重用中间激活来降低推理成本，但现有的无训练调度通常均匀分配计算，忽视了块间的异质冗余，导致性能效率权衡不佳。为此，本文提出了Evolving Cache Schedules (EVO)，一个无训练的加速框架，通过进化搜索全局调度缓存刷新。EVO将每个候选方案表示为块-时间格上的完整调度，从而在迭代去噪过程中跳过冗余的变换器计算，同时保持闭环滚动性能。EVO还引入了冗余感知初始化和目标条件的早停策略，使得搜索过程更为实用。离线优化的调度可以直接应用于预训练的扩散策略，无需重新训练。实验结果表明，EVO在显著减少计算的同时，几乎保持了完整的性能，动作生成速度提升高达8.05倍，FLOPs从15.77G降至最低1.96G。

🔬 方法详解

问题定义：本文旨在解决扩散策略推理中的计算效率问题，现有方法在处理冗余计算时未能充分利用缓存，导致性能和效率的权衡不理想。

核心思路：EVO通过进化搜索技术，动态调度缓存刷新，从而优化计算资源的使用，减少冗余计算，提升推理速度。

技术框架：EVO的整体架构包括候选调度的生成、冗余感知初始化、目标条件的早停策略以及最终的调度应用模块，确保高效的搜索和应用过程。

关键创新：EVO的主要创新在于其无训练的全局调度机制，能够根据块间的冗余性动态调整计算分配，显著提升了推理效率。

关键设计：EVO采用冗余感知初始化来种子有前景的调度方案，并通过目标条件的早停策略来验证和终止搜索过程，确保快速达到性能目标。实验中，EVO的调度可以直接应用于预训练的扩散策略，无需重新训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EVO在动作生成速度上实现了最高8.05倍的提升，同时将FLOPs从15.77G降低至最低1.96G，几乎保持了完整的性能，展现出显著的效率优势。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和实时视频处理等需要高效推理的场景。EVO的技术能够显著降低计算成本，提高系统的实时响应能力，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Diffusion policies achieve strong visuomotor control by iteratively denoising action chunks, but repeated denoising makes real-time deployment computationally demanding. Cache-based methods reduce inference cost by reusing intermediate activations, but existing training-free schedules typically allocate computation uniformly across blocks, ignoring heterogeneous redundancy across blocks and leading to a suboptimal performance-efficiency trade-off. To bridge this gap, we introduce Evolving Cache Schedules (EVO), a training-free acceleration framework that globally schedules cache refreshes via evolutionary search. EVO represents each candidate as a complete schedule over the block-timestep lattice. Thus, redundant transformer computations during iterative denoising can be skipped through cache reuse while preserving closed-loop rollout performance. To make the search practical, EVO introduces redundancy-aware initialization, which seeds the population with promising schedules, and target-conditioned early stopping, which verifies and terminates once a desired performance target is reached. The offline-optimized schedule can be directly plugged into pretrained diffusion policies without retraining. Extensive manipulation benchmarks show that EVO preserves near-full performance while substantially reducing computation, achieving up to 8.05x action-generation speedup and reducing FLOPs from 15.77G to as low as 1.96G. Source code is available at https://github.com/pillom/EVO.