Beyond Reconstruction Error: Analytical and Data-Driven Action Tokenization for Autoregressive Vision-Language-Action Models

📄 arXiv: 2609.25820v1 📥 PDF

作者: Yuxin Yang, Gaohan He, Changxue Guan, Hangming Liu

分类: cs.RO, cs.LG

发布日期: 2026-09-22

备注: 5 pages, 1 figure, 4 tables

💡 一句话要点

提出基于分析与数据驱动的动作标记化方法以优化自回归视觉-语言-动作模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 动作标记化 自回归模型 视觉-语言-动作 闭环控制 多维度评估

📋 核心要点

  1. 现有的动作表示方法主要依赖重建精度进行评估，导致在闭环控制中表现不佳。
  2. 本文提出了一种统一的标记化接口，比较了不同类型的动作表示，强调多维度评估的重要性。
  3. 实验结果显示，PCA在重建精度上表现优于Temporal-DCT，但在任务成功率上却不如后者，揭示了评估标准对结果的影响。

📝 摘要（中文）

离散动作标记化是自回归视觉-语言-动作（VLA）模型的核心，然而现有的动作表示通常仅通过重建精度进行评估。本文探讨了哪些表示属性对闭环控制真正重要，通过统一的标记化接口比较了固定分析、数据驱动的线性和非线性神经表示。研究表明，重建精度不足以可靠地选择动作表示，需联合评估几何保真度、序列可预测性、解码器稳定性和闭环性能。

🔬 方法详解

问题定义：本文旨在解决自回归视觉-语言-动作模型中动作表示选择的有效性问题。现有方法主要依赖重建精度，未能充分考虑闭环控制的实际需求。

核心思路：通过引入统一的标记化接口，比较固定分析、数据驱动的线性和非线性神经表示，探索哪些表示属性对闭环控制更为重要。

技术框架：研究采用了率失真分析、序列建模诊断和3,500次LIBERO回放的综合评估框架，涵盖了不同的动作表示方法。

关键创新：论文的创新在于强调重建精度不足以作为选择动作表示的唯一标准，提出了几何保真度、序列可预测性等多维度评估方法。

关键设计：在实验中，使用了PCA和Temporal-DCT等不同的表示方法，并通过自动编码器进一步减少重建误差，分析其对策略性能的影响。实验还考察了离散标记扰动对策略的敏感性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，PCA在名义重建误差上优于Temporal-DCT，但在任务成功率上低3.0个百分点，且在不同种子下策略排序发生逆转，表明评估标准对结果的显著影响。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人控制、自动驾驶和人机交互等领域。通过优化动作表示选择，可以提升系统的响应能力和任务成功率，推动智能系统的实际应用和发展。

📄 摘要（原文）

Discrete action tokenization is central to autoregressive vision-language-action (VLA) models, yet action representations are often evaluated primarily through reconstruction fidelity. We ask which representation properties actually matter for closed-loop control by comparing fixed analytical, data-driven linear, and nonlinear neural representations under a unified tokenization interface. Across rate-distortion analysis, sequence-modeling diagnostics, and 3,500 LIBERO rollouts, representation rankings change with the evaluation criterion. PCA achieves lower nominal reconstruction error than Temporal-DCT, but produces less predictable token sequences and 3.0 percentage points lower mean seen-task success across three policy-training seeds, with the policy ordering reversing in one seed. In a matched seed-42 ablation, an autoencoder further reduces reconstruction error yet does not yield the strongest policy and exhibits greater sensitivity to discrete token perturbations. These findings show that reconstruction fidelity alone cannot reliably select action representations for autoregressive control, motivating joint evaluation of geometric fidelity, sequence predictability, decoder stability, and closed-loop performance.