TOAST: Stochastic Robot Action Tokenization for Autoregressive Vision-Language-Action Models

📄 arXiv: 2610.00899v1 📥 PDF

作者: Keisuke Shirai, Tomohiro Motoda, Hanbit Oh, Ryoichi Nakajo, Roman Mykhailyshyn, Ryo Hanai, Shotaro Miwa, Yukiyasu Domae

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-10-01

备注: Project page: https://kskshr.github.io/toast/

💡 一句话要点

提出TOAST以解决有限演示下的机器人策略学习问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自回归模型 机器人策略学习 随机令牌化 动作表示 有限演示

📋 核心要点

  1. 现有方法通常将动作序列确定性地映射为令牌，导致策略学习效率低下，尤其在有限演示情况下。
  2. TOAST通过随机采样相同量化动作序列的不同令牌化方式，增加了离散监督的多样性，从而提升策略学习效果。
  3. 在LIBERO上的实验结果显示，TOAST在有限训练数据下的成功率提升显著，平均成功率提高了15.8个百分点。

📝 摘要（中文）

自回归视觉-语言-动作模型通常将连续的机器人动作表示为离散的令牌序列，以便使用标准的下一个令牌目标进行动作预测。FAST显著改进了这种表示，通过将包含多种时间频率的动作紧凑编码为相对较少的令牌。然而，这种压缩虽然减少了自回归预测所需的动作令牌数量，但并未必提高有限演示下的策略学习效率。本文提出了TOAST，一种随机动作令牌化方法，在策略训练期间对相同量化动作序列进行替代令牌化采样，从而在不增加额外演示的情况下多样化离散监督。实验结果表明，TOAST在训练数据减少时，成功率提升显著，尤其在仅使用1/16训练数据时，成功率提高了6.8个百分点。

🔬 方法详解

问题定义：本文旨在解决现有自回归视觉-语言-动作模型在有限演示下策略学习效率低的问题。现有方法通常采用单一确定性令牌化，导致信息利用不足。

核心思路：TOAST方法通过在策略训练过程中对同一量化动作序列进行随机令牌化采样，增加了监督信号的多样性，进而提升了策略学习的效果。

技术框架：TOAST的整体架构包括动作序列的量化、随机令牌化采样和策略学习三个主要模块。首先对动作进行量化，然后在训练过程中随机选择不同的令牌化方式，最后通过这些多样化的令牌进行策略学习。

关键创新：TOAST的主要创新在于引入了随机动作令牌化，允许同一动作序列有多种表示方式。这与传统的确定性令牌化方法形成鲜明对比，能够更好地利用动作表示的冗余性。

关键设计：在TOAST中，关键参数包括量化动作的粒度和随机采样的策略。此外，损失函数设计为能够有效地整合多样化的令牌化信息，以优化策略学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TOAST在仅使用1/16训练数据时，成功率提升了6.8个百分点。在四个真实机器人操作任务中，TOAST的平均成功率比确定性方法提高了15.8个百分点，显示出其在有限数据条件下的显著优势。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动化制造和人机交互等场景。通过提升有限演示下的策略学习效率，TOAST能够在实际应用中减少对大量训练数据的依赖，从而降低成本并加速部署。未来，TOAST的理念也可能扩展到其他领域，如智能家居和服务机器人等。

📄 摘要（原文）

Autoregressive Vision-Language-Action models often represent continuous robot actions as discrete token sequences, enabling action prediction with standard next-token objectives. FAST has substantially improved this representation by compactly encoding action containing diverse temporal frequencies into relatively few tokens. However, while such compression reduces the number of action tokens required for autoregressive prediction, it does not necessarily improve the efficiency of policy learning from limited demonstrations. In particular, FAST typically assigns a single deterministic tokenization to each quantized action sequence, although multiple token sequences can represent and decode to the same robot motion. We investigate whether exploiting this representational redundancy can improve policy learning. In this paper, we propose TOkenization of Action sequences with STochastic sampling (TOAST), a stochastic action tokenization method that samples alternative tokenizations of the same quantized action sequence during policy training. This diversifies the discrete supervision while preserving the underlying robot action and requires no additional demonstrations. Experiments on LIBERO show that TOAST consistently improves over its deterministic counterpart, with the improvement increasing as training data decreases, achieving a 6.8 point gain in success rate when only 1/16 of training data is available. Across four real-robot manipulation tasks, TOAST further improves mean success rate by 15.8 points over the deterministic counterpart. These results demonstrate the effectiveness of stochastic action tokenization for autoregressive robot policy learning, particularly when training data are limited.