Screw Attention: Rigid-Body Algebra Inside a Transformer
作者: Aly Magassouba
分类: cs.RO, cs.AI
发布日期: 2026-10-01
备注: 13 pages, 8 Figures, 2 Tables
💡 一句话要点
提出螺旋注意力机制以解决机器人操作中的几何变化问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 螺旋注意力 刚体力学 机器人操作 空间变换 几何鲁棒性 变换器 操作策略
📋 核心要点
- 现有的操作策略在面对几何变化时表现脆弱，且需要大量数据来学习空间关系。
- 提出的螺旋注意力机制通过空间变换表示物体间关系，增强了对几何变化的鲁棒性。
- 在LIBERO-Spatial任务中，螺旋注意力在参数量较少的情况下超越了其他网络，且对姿态噪声和关节偏移不敏感。
📝 摘要（中文）
学习的操作策略从数据中重新发现刚体力学提供的空间关系，这一过程需要大量数据，并且使得策略对场景中的几何变化非常脆弱。本文提出了螺旋注意力机制，这是一种在变换器层中通过空间变换而非图边来表示两个物体之间关系的方法。每个令牌代表一个具有姿态的物体，每对令牌携带相对姿态和关节螺旋。通过这种设计，信息在接收者的坐标系中传递，同时注意力分数仅考虑不变的量。实验结果表明，螺旋注意力在模拟操作任务中表现优异，参数量少于其他网络，且对几何变化具有较强的鲁棒性。
🔬 方法详解
问题定义：本文旨在解决现有操作策略在几何变化下的脆弱性，现有方法依赖于大量数据学习空间关系，导致其在动态环境中表现不佳。
核心思路：提出螺旋注意力机制，通过将物体间的关系表示为空间变换而非图边，增强了模型对几何变化的鲁棒性。每个令牌代表一个物体的姿态，信息在接收者的坐标系中传递。
技术框架：整体架构包括多个螺旋注意力层，每层处理物体间的相对姿态和关节螺旋，确保信息传递的等变性。模型的设计允许在每个令牌上独立改变坐标系。
关键创新：最重要的创新在于将物体间的关系通过空间变换进行建模，使得模型在面对坐标系变化时依然保持性能，而其他学习网络则会显著下降。
关键设计：模型使用16,162个参数，设计上确保了对姿态噪声和关节偏移的鲁棒性，损失函数和网络结构经过优化以适应刚体力学的速度递归特性。
🖼️ 关键图片
📊 实验亮点
在LIBERO-Spatial任务中，螺旋注意力机制以16,162个参数达到了97.3%的成功率，超越了参数量为27倍的平面网络。此外，在关节偏移和姿态噪声的情况下，模型的表现保持稳定，显示出显著的鲁棒性。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、自动化装配和人机交互等场景。通过增强模型对几何变化的鲁棒性，能够提高机器人在复杂环境中的操作成功率，具有重要的实际价值和未来影响。
📄 摘要（原文）
Learned manipulation policies rediscover from data the spatial relations that rigid-body mechanics supplies in closed form. This costs data, and it leaves the policies fragile to geometric changes in the scene. We present Screw Attention, a transformer layer in which the relation between two bodies is a spatial transform rather than a graph edge. Every token is a body with a pose. Each pair of tokens carries the relative pose and, for robot joints, the joint screw. Messages are transported along this relation into the receiver's frame, while the attention scores see only frame-invariant quantities. By construction, the messages are equivariant to an independent change of frame at every token, and a single layer can express the velocity recursion of rigid-body mechanics. On simulated manipulation tasks, Screw Attention matches or outperforms controls of the same size, including graph, transformer and flat networks on LIBERO-Spatial. With 16,162 parameters it reaches 97.3% on LIBERO-Spatial from object poses (without images or language), above a flat network with 27x more parameters. Under a change of per-link frame convention its success is unchanged, while every other learned network falls below 3%. Placed on an analytic controller as a gated residual, it raises insertion success by 17.3 points. It is unaffected by pose noise up to 10,mm and by joint offsets within the factory calibration of a Franka arm. These results suggest a criterion: geometry is decisive when the task requires relations between frames that no other part of the system supplies. Code and trained policies will be released.