Don't Throw Away the Tail: Action Upcycling for Policy Acceleration
作者: Taesung Kwon, Jangho Park, Sunwoo Park, Youngmin Kim, Seonghyun Jin, Youngjun Jun, Kyumin Choi, Jong Chul Ye
分类: cs.RO, cs.AI, cs.CV, cs.LG
发布日期: 2026-09-28
备注: Project page: https://acupcycling.github.io/
💡 一句话要点
提出动作再利用以加速机器人策略执行
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动作再利用 策略加速 机器人控制 效率提升 视觉-语言-动作模型
📋 核心要点
- 现有方法在执行机器人策略时面临反应性与效率之间的权衡，短时间范围导致频繁的策略调用。
- 本文提出的动作再利用算法可以重用丢弃的动作，避免了对模型内部的访问和额外采样的成本。
- 实验结果表明，动作再利用在多个模型上实现了1.2到1.7倍的策略调用减少，且成功率保持不变。
📝 摘要（中文）
现代机器人策略从单一观察中预测未来一系列动作，仅执行前缀并丢弃其余部分，导致反应性与效率之间的权衡。短的执行时间范围保持策略对环境的反应性，但需要频繁调用策略。本文提出了动作再利用，一种无训练的算法，重用策略本应丢弃的动作，而无需访问模型内部或额外采样。研究发现，只要动作速度保持平滑，丢弃的动作与重新规划的版本相近。通过在模拟和真实世界的操作任务中进行广泛实验，动作再利用在多个视觉-语言-动作模型和世界动作模型中将策略调用减少了1.2到1.7倍，且成功率没有下降。
🔬 方法详解
问题定义：本文旨在解决现代机器人策略在执行时丢弃未来动作的问题。现有方法在选择执行时间范围时，短时间范围虽然提高了反应性，但导致频繁调用策略，降低了效率。
核心思路：提出的动作再利用算法通过重用本应丢弃的动作，延长执行时间范围，避免了对模型内部的复杂访问和额外采样的需求。
技术框架：该方法的整体架构包括动作预测模块和动作再利用模块。首先，策略根据当前观察预测未来动作；然后，动作再利用模块评估并重用丢弃的动作，直到动作速度开始波动。
关键创新：动作再利用的核心创新在于其无需训练的特性，能够在不增加额外计算成本的情况下，显著提高策略的执行效率。与现有方法相比，它不依赖于模型内部信息或额外样本，从而简化了实现过程。
关键设计：在设计中，动作再利用算法关注于动作速度的平滑性，确保重用的动作与重新规划的版本在执行时保持一致。具体参数设置和损失函数的选择未在摘要中详细说明，可能需要进一步的文献查阅。
🖼️ 关键图片
📊 实验亮点
实验结果显示，动作再利用在多个视觉-语言-动作模型和世界动作模型中，策略调用减少了1.2到1.7倍，且成功率保持不变。这一成果表明该方法在提高机器人策略执行效率方面具有显著优势。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过提高策略执行的效率，动作再利用可以显著降低系统的计算负担，提升机器人在动态环境中的适应能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Modern robot policies predict a chunk of future actions from a single observation, execute only a prefix, and discard the rest before replanning. Choosing the length of this prefix, the execution horizon, poses a trade-off between reactivity and efficiency. A short horizon keeps the policy reactive to the environment, but requires frequent policy calls. Recent test-time methods adaptively select the horizon for each chunk, but they either read model internals, where the signal must be chosen for each architecture, or draw extra samples, which adds cost. We propose Action Upcycling, a training-free algorithm that reuses actions the policy would otherwise discard, without accessing model internals or drawing extra samples. We find that discarded actions stay close to their replanned versions as long as the action velocity remains smooth. Action Upcycling therefore extends the execution horizon up to the point where the velocity begins to fluctuate. Extensive experiments on simulated and real-world manipulation tasks show that Action Upcycling reduces policy calls by 1.2--1.7$\times$ with no loss in success rate, across multiple Vision-Language-Action Models (VLAs) and even a World Action Model (WAM). It applies to any chunked policy at negligible cost and is orthogonal to other policy acceleration methods such as few-step sampling and streaming action decoding, opening a new axis for policy acceleration.