ActionPiece: Rethinking Action Tokenization for Autoregressive Vision-Language-Action Models

📄 arXiv: 2609.18487v1 📥 PDF

作者: Shijie Lian, Bin Yu, Zhaolong Shen, Xiaopeng Lin, Yichao Du, Zhirui Zhang, Laurence T. Yang, Kai Chen

分类: cs.RO, cs.AI, cs.CL, cs.CV

发布日期: 2026-09-16

备注: Project Page: https://deepcybo-physai.github.io/ActionPiece/

💡 一句话要点

提出ActionPiece以解决动作标记化的准确性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动作标记化 物理秩一致性 自回归模型 多模态学习 策略训练

📋 核心要点

  1. 现有的动作标记器在保留不同演示中的动作调整方面存在不足，无法全面反映动作的真实关系。
  2. 本文提出物理秩一致性（PRC）来评估标记化的准确性，并引入ActionPiece以保持物理动作关系。
  3. 在相同的Qwen3-VL-4B策略训练设置下，ActionPiece在LIBERO上取得94.8%的准确率，显著提升了策略成功率。

📝 摘要（中文）

动作标记器在自回归视觉-语言-动作模型中起着核心作用，影响策略训练的目标和从预测标记中恢复的可执行命令。现有方法通常使用均方误差等点对点重建指标来评估标记器的准确性，但这些指标无法全面反映动作调整在不同演示中的保留情况。为此，本文引入物理秩一致性（PRC）来衡量标记化在重建后保留局部物理距离排名的效果。我们提出的ActionPiece通过联合监督表示学习和量化，保持物理动作关系，显著提升了动作标记的准确性和策略成功率。

🔬 方法详解

问题定义：本文旨在解决现有动作标记器在保留动作调整和物理关系方面的不足，现有方法的点对点重建指标无法全面反映动作的真实关系。

核心思路：提出物理秩一致性（PRC）作为新的评估标准，并通过ActionPiece实现对物理动作关系的保持，采用联合监督的方式来提升标记化的准确性。

技术框架：整体框架包括编码器和量化模块，编码器负责提取特征，量化模块则通过物理秩保持来优化标记分配，最终生成离散动作标记供策略学习使用。

关键创新：引入物理秩一致性（PRC）作为评估标准，强调局部物理距离排名的保留，与传统方法相比，ActionPiece在动作标记化中更注重物理关系的保持。

关键设计：设计了物理秩保持损失函数和量化正则化，确保编码器和量化特征之间的距离关系一致，同时优化了代码词分配的分布，增强了重建效果。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在相同的Qwen3-VL-4B策略训练设置下，ActionPiece在LIBERO上达到了94.8%的准确率，在未见过的LIBERO-Plus上达到了68.8%。此外，在SimplerEnv和VLA-Arena L0-L2的评估中，分别取得了71.9%和51.5%的成绩，显示出显著的性能提升。

🎯 应用场景

该研究在机器人控制、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提升动作标记的准确性，能够更好地实现人机交互和智能决策，推动多模态学习的发展。未来，该方法可能在复杂场景下的动作理解和执行中发挥重要作用。

📄 摘要（原文）

Action tokenizers play a central role in autoregressive vision-language-action (VLA) models, determining both the targets for policy training and the executable commands recovered from predicted tokens. Their fidelity is commonly evaluated using pointwise reconstruction metrics such as mean squared error (MSE), yet small individual errors do not fully characterize how faithfully action adjustments across demonstrations are preserved. After compression, similar actions may still cluster around a representative motion, while the adjustments needed for different contexts are diminished, distorted, or even reversed. We introduce physical rank consistency (PRC) to measure how well tokenization preserves local physical distance rankings after reconstruction. Evaluating decoded actions provides a common reference across token vocabularies and decoder architectures, complementing pointwise accuracy with a measure of relational fidelity. We further present ActionPiece, which preserves physical action relationships through joint supervision of representation learning and quantization. Physical rank preservation supervises near-far ordering in encoder and quantized feature distances, while quantization regularization applies the same ordering to codeword assignment distributions. Both objectives augment reconstruction, producing discrete action tokens for standard autoregressive policy learning and execution through a frozen decoder. Under the same Qwen3-VL-4B policy training setup, ActionPiece achieves 94.8% on LIBERO and 68.8% on unseen LIBERO-Plus, with additional evaluations reaching 71.9% on SimplerEnv and 51.5% across VLA-Arena L0-L2. Component ablations show that the two objectives jointly improve PRC and policy success, demonstrating the value of physical relationship supervision for action tokenization.