Fast Plans, Faithful Actions: Closing the Planning-Execution Gap in Hierarchical Vision-Language-Action Models

📄 arXiv: 2609.30833v1 📥 PDF

作者: Chuanliang Xie, Boyu Ma, Gen Li, Yizhou Liu, Houwang Chen, Xinyu Zhou, Jianfei Yang

分类: cs.RO

发布日期: 2026-09-25

备注: 13 pages, 5 figures

💡 一句话要点

提出分层视觉语言行动模型以解决规划与执行间的延迟问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 分层规划 动作执行 块自回归解码 归一化目标调制 机器人控制 任务成功率

📋 核心要点

  1. 现有的分层VLA系统在规划速度和计划有效性上存在不足，导致执行器未能充分利用规划器生成的计划。
  2. 论文提出了块自回归解码（Block-AR）和归一化目标调制（NGM）来解决规划延迟和计划利用不足的问题。
  3. 在实验中，Block-AR将最大前向传递次数从57次减少到8次，成功率在多个任务上显著提升。

📝 摘要（中文）

分层视觉语言行动（VLA）系统由高层视觉语言规划器和低层动作专家组成，前者生成连续动作的计划。该论文研究了现有系统的不足，发现规划器生成的计划过于细粒度，导致执行器未能有效利用这些计划。为了解决规划延迟问题，论文提出了基于路径对齐的块自回归解码（Block-AR）和归一化目标调制（NGM），显著减少了视觉语言模型的前向传递次数，并提高了任务成功率。

🔬 方法详解

问题定义：论文要解决的具体问题是现有分层VLA系统在规划速度和执行效率上的不足，尤其是规划器生成的计划过于细粒度，导致执行器未能有效利用这些计划。

核心思路：论文的核心解决思路是通过块自回归解码（Block-AR）和归一化目标调制（NGM）来优化规划过程，减少延迟并提高计划的有效性。这样的设计旨在使规划器生成的计划更具实用性，能够被执行器有效利用。

技术框架：整体架构包括高层的视觉语言规划器和低层的动作执行器。Block-AR负责生成路径对齐的计划，而NGM则通过层级调制确保目标路径的有效性，从而影响动作生成。

关键创新：最重要的技术创新点在于引入了块自回归解码和归一化目标调制，这与现有方法的主要区别在于显著减少了视觉语言模型的前向传递次数，并提高了计划的执行成功率。

关键设计：关键设计包括对块自回归解码的实现，使得最大前向传递次数从57次减少到8次，以及通过反短路训练和阶段门控来实现的归一化目标调制，这些设计确保了计划的有效性和执行的高成功率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，使用Block-AR后，最大前向传递次数从57次减少到8次，规划延迟降低了8.7倍。在LIBERO-Long数据集上，成功率从91.0%提升至96.2%，在四个任务套件上的平均成功率从95.85%提升至98.45%。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化任务执行和人机交互等。通过提高视觉语言行动系统的规划效率和执行成功率，能够在实际应用中实现更高效的任务完成，具有重要的实际价值和未来影响。

📄 摘要（原文）

Hierarchical vision-language-action (VLA) systems consist of a high-level vision-language planner and a low-level action expert that generates continuous actions. This hierarchical design has practical value only if the planner can generate plans fast enough to meet real-time control requirements, and the resulting plans actually contribute to the generation of action. We study one such system, a waypoint hierarchy pipeline adapted from $π_{0.5}$, and find that neither requirement is satisfied. This baseline relies on token-level autoregressive decoding (Token-AR) to generate a waypoint plan, requiring 57 very expensive vision-language model (VLM) forward passes. However, we find that erasing the waypoint endpoints has little effect on task success. Two findings reveal the misalignment of planner-executor: the planner generates outputs at an excessively fine granularity, and the executor underuses plans as a control condition. We address the latency issue with waypoint-aligned block-autoregressive decoding (Block-AR), and plan underuse issue with normalized goal modulation (NGM), a layer-wise goal path constrained by phase gating and anti-shortcut training so that the waypoint influences action generation maintaining other signals. Our method reduces the maximum number of VLM forward passes from 57 to 8 on LIBERO, including one prefix prefill, and achieves an $8.7\times$ reduction in planning latency on a Rokae dual-arm robot. With normalized goal modulation and anti-shortcut training, Block-AR's success rate on LIBERO-Long increases from 91.0% to 96.2%, while its average success rate across the four suites increases from 95.85% to 98.45%. On three bimanual tasks with this robot, success rates remain comparable across methods.