Complementary Future Token Pruning for World Action Models
作者: Baekseung Kim, Junhoo Lee, Sohyeon Hong, Suhyun Jeon, Minkyu Kim, Seungyeon Kim, Donghoon Han, Nojun Kwak
分类: cs.RO
发布日期: 2026-10-14
💡 一句话要点
提出CF-Prune以解决世界动作模型推理延迟问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 世界动作模型 推理加速 未来帧修剪 机器人技术 任务成功率
📋 核心要点
- 现有的世界动作模型在处理未来帧令牌时面临显著的推理延迟，影响了实时应用的性能。
- CF-Prune通过结合指令和动作注意力，识别任务相关的未来帧令牌，从而减少不必要的计算。
- 实验结果显示，在不同的修剪比下，CF-Prune在加速推理的同时提高了任务成功率，表现出良好的实用性。
📝 摘要（中文）
世界动作模型（WAMs）共同预测未来视觉状态和机器人动作，但处理密集的未来帧令牌会导致显著的推理延迟。我们提出了CF-Prune，一个无需训练的框架，用于在预训练的WAMs中修剪未来帧令牌。我们的关键见解是，未来视觉预测支持动作生成，因此不需要保留高保真视频合成所需的每个视觉细节。CF-Prune结合指令和动作注意力，在初始去噪前向传递过程中识别任务相关的令牌，即使未来帧和动作表示仍然高度噪声。基于熵的阶段识别机制进一步保留密集计算，以减轻修剪引起的性能下降。在RoboLab、RoboCasa和真实世界操作任务上的实验表明，推理速度一致加快。在35%的修剪比下，CF-Prune实现了1.19-1.27倍的平均加速，同时提高了任务成功率。在50%的修剪比下，它在两个仿真基准上实现了1.29-1.33倍的平均加速，整体成功率与基线相差不超过1.0个百分点。
🔬 方法详解
问题定义：论文要解决的问题是如何在不影响性能的前提下，减少世界动作模型在推理时的延迟。现有方法在处理未来帧令牌时，计算量大且效率低下，导致实时应用受限。
核心思路：CF-Prune的核心思路是通过修剪不必要的未来帧令牌，来降低推理延迟。该方法利用未来视觉预测对动作生成的支持，识别出任务相关的令牌，从而避免保留所有视觉细节。
技术框架：CF-Prune的整体架构包括初始去噪前向传递、任务相关令牌的识别和基于熵的阶段识别机制。前者用于处理输入数据，后者则在不同阶段动态调整计算密度，以优化性能。
关键创新：CF-Prune的创新点在于其训练自由的修剪机制，结合了指令和动作注意力，能够在高噪声环境中有效识别重要令牌。这与现有方法的静态修剪策略形成了鲜明对比。
关键设计：在设计上，CF-Prune采用了基于熵的阶段识别机制，以动态调整计算量。此外，模型的损失函数和网络结构经过精心设计，以确保在修剪过程中保持性能稳定。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在35%的修剪比下，CF-Prune实现了1.19-1.27倍的平均推理加速，同时提高了任务成功率。在50%的修剪比下，平均加速达到1.29-1.33倍，整体成功率与基线相差不超过1.0个百分点，显示出良好的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动驾驶和智能监控等需要实时决策的场景。通过提高推理速度和任务成功率，CF-Prune能够显著提升这些系统的效率和可靠性，推动智能机器人技术的发展。
📄 摘要（原文）
World action models (WAMs) jointly predict future visual states and robot actions, but processing dense future-frame tokens incurs substantial inference latency. We propose CF-Prune, a training-free framework for pruning future-frame tokens in pretrained WAMs. Our key insight is that future visual predictions support action generation and therefore need not preserve every visual detail required for high-fidelity video synthesis. CF-Prune combines instruction and action attention to identify task-relevant tokens during the initial denoising forward pass, even when future-frame and action representations remain highly noisy. An entropy-based phase identification mechanism further retains dense computation during precision phases to mitigate pruning-induced performance degradation. Experiments on RoboLab, RoboCasa, and real-world manipulation tasks demonstrate consistent inference speedups. At a 35% pruning ratio, CF-Prune achieves average speedups of 1.19-1.27x while improving task success rates. At a 50% pruning ratio, it achieves 1.29-1.33x average speedups on both simulation benchmarks, with overall success rates within 1.0 percentage point of the baseline.