A Hierarchical Spatiotemporal Action Tokenizer for In-Context Imitation Learning in Robotics

📄 arXiv: 2604.15215v1 📥 PDF

作者: Fawad Javed Fateh, Ali Shah Ali, Murad Popattia, Usman Nizamani, Andrey Konin, M. Zeeshan Zia, Quoc-Huy Tran

分类: cs.RO

发布日期: 2026-04-16

💡 一句话要点

提出一种层级时空动作Tokenizer，用于机器人上下文模仿学习，实现SOTA性能。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 上下文模仿学习 机器人操作 时空建模 向量量化 层级聚类

📋 核心要点

  1. 现有模仿学习方法在处理复杂动作序列时，难以有效提取动作之间的时空关系，限制了模型的泛化能力。
  2. 论文提出层级时空动作Tokenizer (HiST-AT)，通过多级聚类同时恢复动作及其时间戳，从而捕捉动作的时空依赖性。
  3. 在多个机器人操作基准测试中，HiST-AT 显著提升了上下文模仿学习的性能，达到了新的SOTA水平。

📝 摘要（中文）

本文提出了一种新颖的层级时空动作Tokenizer，用于上下文模仿学习。首先，提出了一种层级方法，该方法由两个连续的向量量化级别组成。具体而言，较低级别将输入动作分配给细粒度的子集群，而较高级别进一步将细粒度的子集群映射到集群。我们的层级方法优于非层级方法，同时主要通过重建输入动作来利用空间信息。此外，我们通过利用空间和时间线索来扩展我们的方法，形成一个层级时空动作Tokenizer，即HiST-AT。具体来说，我们的层级时空方法进行多级聚类，同时恢复输入动作及其相关的时间戳。最后，在多个模拟和真实机器人操作基准上的广泛评估表明，我们的方法在上下文模仿学习中建立了新的最先进的性能。

🔬 方法详解

问题定义：现有的模仿学习方法，尤其是在上下文模仿学习中，难以有效地对动作序列中的时空关系进行建模。这导致模型在面对新的、未见过的场景时，泛化能力受限。痛点在于如何有效地提取和表示动作序列中的时空信息，以便更好地进行模仿学习。

核心思路：论文的核心思路是利用层级化的向量量化方法，将动作序列分解为离散的“动作token”，并同时捕捉这些token之间的空间和时间关系。通过层级结构，模型可以学习到不同粒度的动作表示，从而更好地理解动作序列的整体结构。同时，显式地建模时间信息，使得模型能够理解动作发生的顺序和持续时间。

技术框架：HiST-AT 的整体框架包含两个主要的层级：较低层级进行细粒度的子集群划分，将每个输入动作分配到最接近的子集群；较高层级则将这些子集群进一步聚类成更高级别的集群。在训练过程中，模型同时重建输入动作及其对应的时间戳。整个过程可以看作是一个多级聚类和时空信息恢复的过程。

关键创新：最重要的技术创新点在于将层级化的向量量化方法与时空信息建模相结合。与传统的非层级方法相比，HiST-AT 能够学习到更丰富的动作表示，并更好地捕捉动作之间的时空依赖性。此外，显式地建模时间信息，使得模型能够理解动作序列的动态特性。

关键设计：HiST-AT 的关键设计包括：(1) 两层向量量化器的结构，用于实现不同粒度的动作表示；(2) 损失函数的设计，同时考虑了动作重建误差和时间戳恢复误差；(3) 具体网络结构的选择，例如可以使用 Transformer 或其他序列模型来建模动作之间的时空关系。具体的参数设置和网络结构的选择可能需要根据具体的任务进行调整。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

HiST-AT 在多个模拟和真实机器人操作基准测试中取得了显著的性能提升，建立了新的SOTA。具体的数据和提升幅度在论文中进行了详细的展示，表明了该方法在上下文模仿学习中的有效性。实验结果证明了层级时空建模对于提高模仿学习性能的重要性。

🎯 应用场景

该研究成果可广泛应用于机器人操作、自动驾驶、游戏AI等领域。通过学习人类或专家的动作序列，机器人可以更好地完成复杂的任务，例如装配、抓取、导航等。在自动驾驶领域，可以用于学习人类驾驶员的驾驶行为，提高自动驾驶系统的安全性和可靠性。在游戏AI领域，可以用于生成更逼真、更智能的游戏角色行为。

📄 摘要（原文）

We present a novel hierarchical spatiotemporal action tokenizer for in-context imitation learning. We first propose a hierarchical approach, which consists of two successive levels of vector quantization. In particular, the lower level assigns input actions to fine-grained subclusters, while the higher level further maps fine-grained subclusters to clusters. Our hierarchical approach outperforms the non-hierarchical counterpart, while mainly exploiting spatial information by reconstructing input actions. Furthermore, we extend our approach by utilizing both spatial and temporal cues, forming a hierarchical spatiotemporal action tokenizer, namely HiST-AT. Specifically, our hierarchical spatiotemporal approach conducts multi-level clustering, while simultaneously recovering input actions and their associated timestamps. Finally, extensive evaluations on multiple simulation and real robotic manipulation benchmarks show that our approach establishes a new state-of-the-art performance in in-context imitation learning.