Acting Through Registers
作者: Yiwei Zhang, Yantai Yang, Jin Gao, Jin Lou, Andong Chen, Yufei Liu, Boyang Xing, Yuchen Zhu, Weiming Hu, Zhipeng Zhang
分类: cs.RO
发布日期: 2026-10-13
💡 一句话要点
提出RegisterWAM以解决WAM中空间异常值问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 世界动作模型 机器人动作调节 空间异常值 观察流匹配 可学习寄存器 机器学习 自动化
📋 核心要点
- 现有的世界动作模型在处理与动作相关的信息时，存在空间异常值的组织不当问题，影响了模型的有效性。
- 论文提出RegisterWAM，通过引入可学习的非空间寄存器来改善动作调节，结合观察流匹配损失监督以抑制异常值。
- 实验结果显示，RegisterWAM在多个基准测试中表现出色，尤其是在LIBERO-Plus和RoboTwin 2.0上取得了显著的成功率提升。
📝 摘要（中文）
世界动作模型（WAMs）利用生成的视觉表示来调节机器人动作，但这些表示如何组织与动作相关的信息仍不清楚。我们发现WAM表示中存在持久的高范数空间异常值，其动作相关性在归一化和K/V投影后仍然存在。基于这一观察，我们引入了RegisterWAM，通过向世界模型添加可学习的非空间寄存器，直接用于动作调节。寄存器本身并未完全消除空间异常值；与观察流匹配（FM）损失监督相结合，可以抑制空间异常值，同时将高范数响应集中在寄存器中。此外，观察FM损失监督还改善了没有寄存器的动作学习，激励了一个额外的噪声观察FM目标，从损坏输入中学习当前场景恢复。该模型在LIBERO-Plus上取得了81.64%的成功率，在RoboTwin 2.0上达到了93.0%的平均成功率，并提升了现实世界的操作性能。
🔬 方法详解
问题定义：本论文旨在解决世界动作模型（WAMs）中存在的空间异常值问题，这些异常值影响了模型在调节机器人动作时的有效性和准确性。现有方法未能有效组织与动作相关的信息，导致性能下降。
核心思路：论文提出的RegisterWAM通过引入可学习的非空间寄存器，直接用于动作调节，旨在改善空间异常值对模型的影响。寄存器的设计使得模型能够更好地集中高范数响应，从而提高动作学习的效果。
技术框架：RegisterWAM的整体架构包括可学习的寄存器模块和观察流匹配损失监督。寄存器用于存储与动作相关的信息，而观察流匹配损失则用于抑制空间异常值，确保模型在处理输入时的稳定性和准确性。
关键创新：最重要的技术创新在于引入了非空间寄存器，并结合观察流匹配损失监督来处理空间异常值。这一方法与传统的WAMs相比，显著提高了模型的动作调节能力和学习效率。
关键设计：在设计中，寄存器的学习过程采用了特定的损失函数，观察流匹配损失则通过对比当前场景与损坏输入之间的差异来优化模型性能。模型的网络结构经过精心设计，以确保寄存器和损失监督的有效结合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RegisterWAM在LIBERO-Plus上取得了81.64%的成功率，而在RoboTwin 2.0上达到了93.0%的平均成功率。这些结果显示出该模型在没有额外的实体预训练数据或基础模型的情况下，显著提升了机器人操作的性能。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化制造和智能家居等场景。通过改善机器人在复杂环境中的动作调节能力，RegisterWAM能够提升机器人在实际操作中的灵活性和准确性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
World Action Models (WAMs) use generative visual representations to condition robot actions, yet how these representations organize action-relevant information remains poorly understood. We identify persistent high-norm spatial outliers in WAM representations and find that their action relevance persists even after normalization and K/V projection attenuate their extreme magnitude. Motivated by this observation, we introduce RegisterWAM, which adds learnable non-spatial registers to the world model and uses them directly for action conditioning. Registers alone do not fully eliminate spatial outliers; pairing them with observation flow-matching (FM) loss supervision suppresses spatial outliers while concentrating high-norm responses in registers. Beyond this reorganization, observation FM loss supervision also improves action learning without registers, motivating an additional noised-observation FM objective that learns current-scene recovery from corrupted inputs. The resulting model achieves 81.64\% success on LIBERO-Plus without additional embodied pretraining data or foundation models, reaches 93.0\% average success on RoboTwin 2.0, and improves real-world manipulation performance.