ReAT: Residual Action Tokenization for Autoregressive Robot Policies
作者: Dijia Zhan, Zhuo Li, Xuemiao Xu, Sun Zheng, Jinyi Li, Wenjun Wang, Jie Tang
分类: cs.RO
发布日期: 2026-10-09
备注: 18 pages, 6 figures, 6 tables
💡 一句话要点
提出残差动作标记化方法以提升自回归机器人策略的性能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自回归策略 动作标记化 机器人控制 深度学习 强化学习
📋 核心要点
- 现有的动作标记器在重建动作块时未能明确每个标记的贡献，导致自回归策略的性能受限。
- 本文提出的残差动作标记化（ReAT）方法，通过将解码重建作为反馈，明确每个标记在动作重建中的角色。
- 在19个操作任务的实验中，8标记的ReAT策略在任务成功率上优于基线，显示出显著的性能提升。
📝 摘要（中文）
自回归机器人策略依赖于动作标记器将连续动作块转换为紧凑的离散预测目标序列。现有的标记器能够从离散代码重建动作块，但通常未明确每个标记对重建动作的贡献。本文提出了残差动作标记化（ReAT），为每个标记在当前动作重建中提供了明确的角色。该方法利用解码重建作为反馈，从剩余的动作误差中构建下一个标记，从而在编码和解码之间形成闭环，使每个新标记对实际解码前缀留下的误差做出响应。在涵盖三种仿真基准和真实世界设置的19个操作任务中，8标记的ReAT策略在任务成功率上超越了评估的基线；在LIBERO上，即使是4标记的ReAT也在一半的标记预算下超越了评估的8标记动作标记化基线。这些结果表明，支持自我修正策略学习的动作标记化方法的潜力。
🔬 方法详解
问题定义：本文旨在解决现有动作标记器在重建动作块时未能明确每个标记贡献的问题，这限制了自回归机器人策略的性能。
核心思路：提出的ReAT方法通过将解码重建作为反馈，构建下一个标记，确保每个标记能够响应前一个解码的误差，从而提高动作重建的准确性。
技术框架：ReAT的整体架构包括动作编码、解码和反馈三个主要模块。首先对连续动作进行编码，接着进行解码并计算重建误差，最后利用该误差生成新的标记。
关键创新：ReAT的核心创新在于为每个标记赋予明确的角色，使得每个新标记能够针对前一解码结果的误差进行调整，这与传统方法的静态标记生成方式有本质区别。
关键设计：在ReAT中，采用了特定的损失函数来量化重建误差，并设计了适应性的网络结构，以便在生成新标记时能够有效利用反馈信息。
🖼️ 关键图片
📊 实验亮点
在实验中，8标记的ReAT策略在19个操作任务中表现优异，任务成功率显著高于评估的基线；在LIBERO基准上，4标记的ReAT在仅使用一半的标记预算的情况下，仍然超越了8标记的动作标记化基线，显示出其高效性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化控制和智能制造等。通过提升自回归策略的性能，ReAT方法能够帮助机器人在复杂环境中更有效地执行任务，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Autoregressive robot policies rely on action tokenizers to convert continuous action chunks into compact sequences of discrete prediction targets. Existing tokenizers can reconstruct action chunks from discrete codes, but often leave implicit what each individual token contributes to the reconstructed action. We introduce Residual Action Tokenization (ReAT), which gives each token an explicit role in refining the current action reconstruction. It uses the decoded reconstruction as feedback to construct the next token from the remaining action error. This closes the loop between encoding and decoding, making each new token responsive to the errors left by the actual decoded prefix. Across 19 manipulation tasks spanning three simulation benchmarks and real-world settings, 8-token ReAT policies outperform the evaluated baselines in task success; on LIBERO, even 4-token ReAT surpasses the evaluated 8-token action-tokenization baselines at half the token budget. These results suggest a path toward action tokenization that supports self-corrective policy learning, helping autoregressive policies learn to progressively refine their own action plans.