${M}^2$Tok: Multi-head Multi-codebook Discrete Action Tokenization for Vision-Language-Action Models

📄 arXiv: 2609.18259v1 📥 PDF

作者: Chunpu Xu, Zhixuan Liang, Yuhao Zhang, Chi-Min Chan, Jessie Wang, Yang Xiao, Mengkang Hu, Xiaokang Yang, Yao Mu

分类: cs.RO, cs.AI, cs.CL, cs.CV

发布日期: 2026-09-16

备注: ECCV 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出M²Tok以解决离散动作标记中的重构损失问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态信号 离散动作标记 重构损失 视觉-语言-动作 机器人控制 深度学习

📋 核心要点

  1. 现有的离散动作标记器在重构损失上表现不佳，无法有效捕捉动作的细微动态，限制了模型性能。
  2. 本文提出M²Tok，通过多头和多代码本的设计，增强了动作特征的表达能力，降低了重构误差。
  3. 实验表明，基于M²Tok的VLA模型在多个任务上表现优异，重构保真度和成功率均显著提升。

📝 摘要（中文）

近年来，自动回归语言模型成功适应了多模态信号的处理，如图像和动作。然而，现有的离散动作标记器常常面临高重构损失的问题，无法保留精细的动态特征，限制了视觉-语言-动作（VLA）模型的性能。为了解决这一问题，本文提出了M²Tok，一个多头多代码本的动作标记器，旨在最小化重构误差并提升策略性能。通过将潜在动作特征分解为多个头，并为每个头分配独立的代码本，M²Tok显著提高了标记器的表达能力，实验结果表明该方法在重构保真度和VLA模型的成功率上均有显著提升。

🔬 方法详解

问题定义：本文旨在解决现有离散动作标记器在重构损失上表现不佳的问题，导致无法准确捕捉动作的细微动态，限制了视觉-语言-动作模型的性能。

核心思路：M²Tok通过将潜在动作特征分解为多个头，使得模型能够隐式地将特定头与不同的动作维度对齐，同时为每个头分配独立的代码本进行量化，从而增强了标记器的表达能力。

技术框架：M²Tok的整体架构包括多个头，每个头对应一个独立的代码本。输入的动作信号首先经过特征提取，然后被分解为多个头，最后通过各自的代码本进行量化，形成离散的动作标记。

关键创新：M²Tok的主要创新在于多头和多代码本的设计，显著提高了标记器的表达能力，与现有方法相比，能够更好地保留动作的细微动态，降低重构损失。

关键设计：在设计中，模型的每个头使用独立的代码本进行量化，损失函数采用重构损失与策略损失的结合，以确保模型在训练过程中能够有效学习到动作的动态特征。网络结构上，采用了适应性调整的多头机制，以便更好地捕捉不同动作维度的特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，基于M²Tok的VLA模型在RoboTwin、Simpler-Env和三个零样本真实世界任务上表现优异，重构保真度显著提高，成功率提升幅度超过20%。全面的消融研究进一步验证了多头和多代码本机制的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶、虚拟现实等多模态交互场景。通过提高视觉-语言-动作模型的性能，M²Tok能够在复杂环境中实现更精确的动作执行，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advancements have successfully adapted autoregressive language models to process multimodal signals, such as images and actions. Since raw action signals are continuous, effective tokenization is essential to map high-dimensional inputs into compact discrete tokens for autoregressive processing. However, existing discrete action tokenizers often suffer from high reconstruction loss, failing to preserve the fine-grained dynamics required for precise control. This ``discretization bottleneck'' significantly limits the performance ceiling of downstream Vision-Language-Action (VLA) models. To address this, we propose $\mathcal{M}^2$Tok, a Multi-head Multi-codebook Action Tokenizer designed to minimize reconstruction error and enhance policy performance. Our approach introduces two key structural innovations: (1) we decompose the latent action features into multiple heads, enabling the model to implicitly align specific heads with distinct action dimensions; (2) we assign independent codebooks to each head for quantization. By leveraging the combinatorial nature of multiple codebooks, we significantly expand the representational expressivity of the tokenizer, leading to substantially lower reconstruction loss compared to previous methods. We evaluate the $\mathcal{M}^2$Tok-based VLA on the RoboTwin, Simpler-Env, and 3 zero-shot real-world tasks. Experimental results demonstrate our method not only achieves superior reconstruction fidelity but also significantly boosts the success rate of VLA models. Comprehensive ablation studies further confirm the effectiveness of the multi-head and multi-codebook mechanisms. Code is available at \href{https://github.com/cpaaax/M2Tok}{https://github.com/cpaaax/M2Tok}.