Behavior-Aligned Action Tokenization for Robot Policy Learning

📄 arXiv: 2609.27513v1 📥 PDF

作者: Junbo Dong, Ze Chen, Zhendong Xie, Junjie Li, Lixin Xu, Xuemin Chi, Yiming Song, Zhaoyuan Ma

分类: cs.RO

发布日期: 2026-09-23

💡 一句话要点

提出行为对齐动作标记化方法以提升机器人策略学习

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人策略学习 动作标记化 行为对齐 动态时间规整 自回归模型 动作重构 智能控制

📋 核心要点

  1. 现有的动作标记化方法在行为对应性上缺乏明确的监督，导致相似动作的共享表示不足。
  2. 本文提出BAAT方法，通过软动态时间规整选择对应动作块，并对量化坐标进行联合对齐以提升动作表示的共享性。
  3. BAAT在多个仿真任务中成功率达到约45.2%，比现有方法提高约7.2个百分点，显示出其有效性。

📝 摘要（中文）

自回归机器人策略通过从观察中预测离散动作标记来学习连续控制。现有标记化方法在行为对应性方面缺乏明确的监督，导致不同时间的动作缺乏共享表示。本文提出行为对齐动作标记化（BAAT），利用软动态时间规整（Soft-DTW）选择对应的动作块，并通过重构共同对齐其量化坐标。该目标鼓励相似的动作在任务间占据相近的量化表示，同时保留可执行的动作细节。通过历史条件扩散解码器从这些标记重构连续动作块，随后下游自回归策略学习预测这些动作。实验表明，BAAT在多个仿真基准和真实机器人任务中表现优异，成功率显著提升。

🔬 方法详解

问题定义：本文旨在解决现有动作标记化方法在行为对应性方面的不足，尤其是在不同时间的动作缺乏共享表示的问题。

核心思路：BAAT方法通过软动态时间规整（Soft-DTW）选择对应的动作块，并通过重构目标对量化坐标进行对齐，鼓励相似动作在任务间共享表示。

技术框架：BAAT的整体架构包括动作块选择、量化坐标对齐和历史条件扩散解码器三个主要模块。首先，通过Soft-DTW选择对应的动作块；其次，对量化坐标进行联合对齐；最后，利用解码器重构连续动作块。

关键创新：BAAT的核心创新在于引入了行为对应性作为监督信号，以组织共享的动作结构，从而提升动作标记化的效果，与现有方法相比具有本质区别。

关键设计：在损失函数设计上，BAAT结合了重构损失和对齐损失，以确保动作块的精确对齐和可执行性，同时在网络结构上采用了历史条件扩散解码器以增强动作重构的能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

BAAT在多个仿真基准测试中取得了约45.2%的平均成功率，相较于现有的OAT方法提升了约7.2个百分点。此外，在LIBERO-All对齐消融实验中，策略成功率从70.2%提升至79.0%，显示出行为对应性在动作标记化中的重要性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化任务执行和人机交互等。通过提升机器人在复杂环境中的动作理解和执行能力，BAAT有望在智能制造、服务机器人和自主导航等领域产生实际价值，并推动相关技术的发展。

📄 摘要（原文）

Autoregressive robot policies learn continuous control by predicting discrete action tokens from observations. Different tasks often share local motions, yet behavioral correspondence across demonstrations receives limited explicit supervision in existing tokenizers. Motions with different timing can therefore lack a shared representation despite following similar patterns. We propose Behavior-Aligned Action Tokenization (BAAT), which uses soft dynamic time warping (Soft-DTW) to select corresponding action chunks and aligns their quantized coordinates jointly with reconstruction. This objective encourages similar motions across tasks to occupy nearby quantized representations while retaining executable action detail. A history-conditioned diffusion decoder reconstructs continuous action chunks from these tokens, and a downstream autoregressive policy learns to predict them. We evaluate BAAT on selected tasks from three simulation benchmarks and two real robot tasks. BAAT achieves a mean simulation success rate of approximately 45.2%, exceeding OAT by approximately 7.2 percentage points. In the controlled LIBERO-All alignment ablation, policy success rises from 70.2% to 79.0% while trajectory replay success decreases. These results support behavioral correspondence as supervision for organizing shared motion structure in action tokenizers and improving downstream robot policy learning.