Ordered Action Tokens for Visuomotor Policy Learning

📄 arXiv: 2607.21670v1 📥 PDF

作者: Chaoqi Liu, Yue Zhao, Haonan Chen, Xiaoshen Han, Jiawei Gao, Ehsan Adeli, Yilun Du

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-07-23

💡 一句话要点

提出有序动作标记以解决机器人动作离散化问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动作标记化 视觉运动策略 机器人控制 深度学习 变换器 有序训练机制 策略优化

📋 核心要点

  1. 现有的动作标记化方法要么产生过长的标记序列，要么缺乏结构，限制了与下游策略的兼容性。
  2. 本文提出有序动作标记化（OAT），通过变换器和有序训练机制，将动作块离散化为有序标记序列。
  3. OAT在三种策略骨干和超过60个任务中表现出色，提供了更高的策略性能和推理灵活性。

📝 摘要（中文）

动作标记化将连续的机器人动作块映射为离散标记，已成为现代视觉运动策略的重要接口。现有方法依赖于分析离散化方法，导致标记序列过长，或使用缺乏结构的学习型标记器，限制了其与下游策略的兼容性。本文提出有序动作标记化（OAT），满足高压缩性、完全可解码性和有序标记空间三大要求。OAT通过使用带寄存器的变换器、有限标量量化和有序训练机制，将动作块离散化为有序的标记序列。通过训练每个标记前缀解码为有效的动作块，OAT在早期标记中放置粗略控制信息，并利用后期标记细化残余细节，从而在推理成本和动作保真度之间实现随时的权衡。OAT在自回归策略和标记共同训练策略中进行了验证，展现出强大的策略性能和显著的推理灵活性。

🔬 方法详解

问题定义：本文旨在解决现有动作标记化方法在离散化过程中的效率和结构性不足问题。现有方法往往导致标记序列过长或缺乏可解释性，影响下游策略的性能。

核心思路：提出有序动作标记化（OAT），通过设计一个学习型标记器，满足高压缩性、完全可解码性和有序标记空间的要求。OAT通过将动作块离散化为有序标记序列，优化了动作生成过程。

技术框架：OAT的整体架构包括带寄存器的变换器、有限标量量化和有序训练机制。变换器负责生成标记序列，有限标量量化用于压缩信息，而有序训练机制确保标记的顺序性和有效性。

关键创新：OAT的主要创新在于其有序标记空间设计，使得早期标记包含粗略控制信息，后期标记用于细化，形成了有效的动作生成策略。这一设计与现有方法的无序或随机标记生成形成鲜明对比。

关键设计：OAT采用了特定的损失函数来优化标记生成过程，并通过训练每个标记前缀解码为有效的动作块，确保了标记的有效性和可用性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

OAT在三种策略骨干和超过60个任务中表现出色，显著提升了策略性能，相比于基线方法，推理灵活性提高了，且在多个仿真基准和现实场景中均取得了优异的结果。

🎯 应用场景

该研究在机器人控制、自动驾驶、智能制造等领域具有广泛的应用潜力。通过提高动作标记化的效率和灵活性，OAT可以帮助机器人更好地理解和执行复杂任务，推动智能系统的进一步发展。

📄 摘要（原文）

Action tokenization maps continuous robot action chunks to discrete tokens and has become an important interface for modern visuomotor policies. Existing approaches either rely on analytical discretization methods that produce prohibitively long token sequences or learned latent tokenizers that lack structure, limiting their compatibility with downstream policies. In this work, we identify three desiderata for action tokenization - high compression, total decodability, and an ordered token space - and introduce Ordered Action Tokenization (OAT), a learned action tokenizer that satisfies all three. OAT discretizes action chunks into an ordered sequence of tokens using a transformer with registers, finite scalar quantization, and ordering-inducing training mechanisms. By training each token prefix to decode into a valid action chunk, OAT places coarse control information in early tokens and uses later tokens to refine residual detail, yielding an anytime tradeoff between inference cost and action fidelity. We validate OAT in two prevailing uses of action tokens: autoregressive policies that generate tokens for control, and token co-training policies that use token losses to shape the vision-language model context consumed by a flow-based action expert. Across three policy backbones and more than 60 tasks spanning five simulation benchmarks and real-world settings, OAT consistently delivers strong policy performance while offering significantly greater flexibility at inference time.