Direction-Scale Decomposition in Action Representation: Rethinking What to Tokenize for Vision-Language-Action Models
作者: Yufei Duan, Hang Yin, Alberta Longhini, Chao Tang, Danica Kragic
分类: cs.CV, cs.RO
发布日期: 2026-09-24
💡 一句话要点
提出方向-尺度分解以改善视觉-语言-动作模型的动作表示
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 动作表示 视觉-语言-动作 方向-尺度分解 多模态学习 机器人操作
📋 核心要点
- 现有的动作表示方法对执行速度和数据集归一化敏感，导致几何结构信息丢失，影响模型性能。
- 提出方向-尺度分解（DSD），将动作增量分解为方向和尺度分量，改善动作表示的质量。
- 实验结果表明，DSD在多个数据集上显著提高了成功率，尤其是在混合数据集训练中表现优异。
📝 摘要（中文）
动作表示在离散标记的视觉-语言-动作（VLA）学习中起着核心作用，但仍未得到充分研究。传统的姿态增量表示对执行速度和数据集特定的归一化敏感，可能掩盖跨演示和数据集共享的几何结构。本文提出方向-尺度分解（DSD），该方法在标记之前将平移和旋转增量分解为方向和尺度分量。DSD在保留幅度的同时隔离运动方向。通过在单数据集和混合数据集训练下对DSD进行评估，结果表明DSD在LIBERO上提高了成功率，并在SimplerEnv中，DSD-BIN在混合数据集训练下的整体成功率比BIN高出10.3个百分点。实机器人实验进一步显示，无论是否进行机器人预训练，DSD均表现出提升。这些结果支持DSD作为离散标记VLA模型的有效动作表示，并表明其在大规模多样化数据集混合训练中减轻性能下降的潜力。
🔬 方法详解
问题定义：本文旨在解决现有动作表示方法在速度和归一化方面的敏感性问题，这导致几何结构信息的丢失，影响模型的泛化能力。
核心思路：提出方向-尺度分解（DSD），通过将平移和旋转增量分解为方向和尺度分量，来改善动作表示的质量，从而提高模型的性能。
技术框架：DSD的整体架构包括两个主要模块：方向通道和尺度通道。方向通道专注于捕捉运动方向，而尺度通道则保留运动幅度信息。该方法在标记之前进行分解，以确保信息的有效利用。
关键创新：DSD的核心创新在于将动作增量分解为方向和尺度两个独立的部分，这与传统方法的整体增量表示形成鲜明对比，显著提高了动作表示的鲁棒性和准确性。
关键设计：在参数设置上，DSD采用均匀分箱（BIN）和基于B样条的标记器（BEAST）进行评估，损失函数设计考虑了方向和尺度的独立性，以优化模型的学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果显示，DSD在LIBERO数据集上提高了成功率，并在SimplerEnv中，DSD-BIN在混合数据集训练下的整体成功率比BIN高出10.3个百分点。此外，实机器人实验也表明，DSD在有无预训练的情况下均表现出性能提升。
🎯 应用场景
该研究在机器人操作、自动驾驶和人机交互等领域具有广泛的应用潜力。通过改善动作表示，DSD可以提升多模态学习模型的性能，尤其是在处理复杂和多样化的数据集时，具有重要的实际价值和未来影响。
📄 摘要（原文）
Action representation plays a central role in discrete-token vision-language-action (VLA) learning but remains underexamined. Under conventional pose-increment representations, action tokens are sensitive to execution speed and dataset-specific normalization, potentially obscuring geometric structure shared across demonstrations and datasets. We introduce Direction-Scale Decomposition (DSD), an action representation that decomposes translation and rotation increments into direction and scale components before tokenization. DSD isolates motion direction while retaining magnitudes in separate scale channels. We evaluate DSD with uniform binning (BIN) and BEAST, a B-spline-based tokenizer, in simulation and real-world manipulation under both single-dataset and mixed-dataset training. On LIBERO, DSD improves average success rates with both tokenizers. On SimplerEnv, DSD-BIN outperforms BIN by 10.3 percentage points in overall success rate under mixed-dataset training. Real-robot experiments further show gains both with and without robotics pretraining. These results support DSD as an effective action representation for discrete-token VLA models and suggest its potential to mitigate performance degradation when training on large and diverse dataset mixtures. Our project page with additional resources is available at https://vla-dsd.github.io/