Beyond Token Importance: Preserving Spatial Scaffolds for Efficient Vision-Language-Action Inference
作者: Jiayu Chen, Shuyong Gao, Jingkai Jia, Xiaosheng Bu, Jiyuan Fu, Lingyi Hong, Kaixun Jiang, Yipan Xu, Wenqiang Zhang
分类: cs.RO
发布日期: 2026-09-29
💡 一句话要点
提出GeoScaffold以解决视觉语言行动推理中的空间信息丢失问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言行动 剪枝策略 空间信息 机器人操作 任务相关性 最远点采样 效率提升
📋 核心要点
- 现有的VLA剪枝策略主要关注任务相关的视觉标记，忽视了空间信息的保留，导致在机器人操作中效果不佳。
- 本文提出GeoScaffold方法，通过空间区域划分和任务相关性权重分配，优化视觉标记的选择，保留空间支撑结构。
- 在pi 0.5和LIBERO数据集上，GeoScaffold在保留20%视觉标记的同时，实现93.2%的成功率和1.78倍的速度提升。
📝 摘要（中文）
现有的视觉语言行动（VLA）剪枝策略主要根据任务级语义相关性选择单个视觉标记，而忽视了机器人操作所需的空间信息。为了解决这一局限性，本文提出了一种名为GeoScaffold的训练无关视觉标记剪枝方法，通过将每幅图像划分为空间区域，利用任务相关性权重分配区域间标记预算，并通过最远点采样选择区域内的支撑标记，从而减少局部覆盖半径。实验结果表明，GeoScaffold在保留仅20%视觉标记的情况下，仍能保持93.2%的平均成功率，并实现了相较于未剪枝基线的1.78倍预填充速度提升。
🔬 方法详解
问题定义：本文旨在解决现有视觉语言行动（VLA）剪枝策略在机器人操作中对空间信息的忽视，导致的任务成功率下降。现有方法主要关注任务相关的视觉标记，未能有效保留空间结构信息。
核心思路：GeoScaffold的核心思路是通过将图像划分为空间区域，并根据任务相关性分配标记预算，从而在剪枝过程中保留重要的空间支撑结构。这样的设计旨在减少因标记剪枝而引入的空间盲点。
技术框架：GeoScaffold的整体流程包括三个主要模块：首先，将输入图像划分为多个空间区域；其次，根据任务相关性为每个区域分配标记预算；最后，在每个区域内通过最远点采样选择支撑标记，以确保局部覆盖的完整性。
关键创新：GeoScaffold的主要创新在于引入空间支撑结构的概念，强调在剪枝过程中不仅要考虑任务相关性，还要保留空间信息。这与传统的仅关注语义相关性的剪枝方法本质上有所不同。
关键设计：在参数设置上，GeoScaffold采用了基于任务相关性权重的标记预算分配策略，并使用最远点采样算法来选择区域内的支撑标记。此外，设计中还考虑了空间覆盖半径的最小化，以提高任务成功率。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GeoScaffold在pi 0.5和LIBERO数据集上，仅保留20%的视觉标记，仍能保持93.2%的平均成功率。此外，相较于未剪枝基线，GeoScaffold实现了1.78倍的预填充速度提升，展现出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景，能够有效提升机器人在复杂环境中的操作能力。通过优化视觉标记的选择，GeoScaffold有助于提高机器人在执行任务时的效率和成功率，未来可能推动更智能的机器人系统的发展。
📄 摘要（原文）
Existing VLA pruning strategies primarily select individual visual tokens according to task-level semantic relevance, while overlooking the spatial information required for robotic manipulation. To examine this limitation, we construct a simple Stride baseline that uniformly samples tokens along the flattened one-dimensional visual sequence, representing a purely geometric pruning strategy. Surprisingly, Stride outperforms semantic pruning and random pruning at certain pruning ratios, but collapses when the token budget is only slightly reduced. We characterize this phenomenon through the spatial coverage radius, defined as the largest spatial blind spot induced by the retained token set after pruning. Our analysis reveals a strong correlation between the spatial structure of retained tokens and task success, suggesting that reliable VLA pruning requires preserving not only task-relevant tokens but also the spatial scaffold of the scene. Motivated by this diagnosis, we propose GeoScaffold, a training-free visual token pruning method that partitions each image into spatial regions, allocates inter-region token budgets using task-relevance weights, and selects intra-region scaffold tokens via farthest point sampling to reduce the local coverage radius. On pi 0.5 and LIBERO, GeoScaffold retains only 20% of visual tokens while preserving a 93.2% average success rate, and achieves a 1.78 times prefill speedup over the unpruned baseline.