Time-Frequency Geometric Cross-Attention for Chunked Vision-Language-Action Models
作者: Shengye Dong, Haochen Niu, Hao Liu, Peiwen Lin, Chuang Wang, Shanmin Pang
分类: cs.AI, cs.RO
发布日期: 2026-09-09
💡 一句话要点
提出时间-频率几何交叉注意力以解决视觉-语言-动作模型的不足
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 交叉注意力 时间-频率分析 机器人控制 多模态学习
📋 核心要点
- 现有的视觉-语言-动作模型在处理动作块时未能有效捕捉动作的频率和相位几何结构，导致性能不足。
- 本文提出的时间-频率几何交叉注意力（TFGCA）模块，通过可学习的波形变换和交叉注意力机制，解决了现有模型的盲点。
- 实验结果表明，TFGCA在多个基准测试中显著提升了模型性能，尤其在分布外数据集上表现出色。
📝 摘要（中文）
现代视觉-语言-动作（VLA）策略预测一整段动作，然而这些模型将动作块视为一系列通用的时间步隐藏标记，未能充分利用动作的频率和相位几何结构。为此，本文提出了时间-频率几何交叉注意力（TFGCA），通过可学习的波形变换将动作块分解为时间-频率标记，并通过交叉注意力机制融合点积和楔积的特征。TFGCA在多个任务中显著提升了模型性能，尤其在分布外数据上表现更为突出。
🔬 方法详解
问题定义：本文旨在解决现有视觉-语言-动作模型在处理动作块时未能有效捕捉频率和相位几何结构的问题。现有方法将动作块视为一系列通用的时间步隐藏标记，未能充分利用动作的多样性和复杂性。
核心思路：论文提出的时间-频率几何交叉注意力（TFGCA）模块，通过可学习的波形变换将动作块分解为时间-频率标记，并利用交叉注意力机制融合点积和楔积特征，以更好地捕捉动作的频率和相位信息。
技术框架：TFGCA模块的整体架构包括可学习的波形变换、时间-频率标记的生成和交叉注意力机制的应用。每个时间标记通过交叉注意力从时间-频率标记中检索信息，增强了模型对动作的理解。
关键创新：TFGCA的核心创新在于结合了点积和楔积的特征，能够有效处理近正交的动作相位关系，这一设计与传统的点积注意力机制有本质区别。
关键设计：TFGCA模块采用零初始化的残差连接，以保持初始化时的基本行为，并可以无缝集成到预训练的VLA模型中进行联合微调。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TFGCA相较于同源基线在分布内LIBERO上平均提升了1.5，在分布外LIBERO-Plus上提升了6.3，在RoboTwin领域随机化下的随机平均提升了28.5，整体成功率在三个真实机器人AgiBot A2任务中提升了11.67个百分点，尤其在分布外数据上表现更为突出。
🎯 应用场景
该研究的潜在应用场景包括机器人控制、自动化任务执行和人机交互等领域。通过提升视觉-语言-动作模型的性能，TFGCA可为智能机器人在复杂环境中的自主决策提供更强的支持，推动智能系统的实际应用和发展。
📄 摘要（原文）
Modern vision-language-action (VLA) policies predict a whole chunk of actions: one to two seconds of coordinated motion emitted in a single forward pass. Yet an action chunk is essentially a short multivariate trajectory, but inside these models it is a sequence of generic per-timestep hidden tokens decoded by a linear head. This under-serves two motion structures. First, frequency: a chunk superimposes a smooth global trend and fine corrective motion across time scales, and a single token entangles them. Second, cross-phase geometry: motions of different phases (reach, contact, grasp adjustment, settling) unfold along very different, near-orthogonal directions in representation space, yet are tightly related for the task and arise across the time axis. Dot-product attention scores alignment by an inner product, so it favors aligned tokens and is least sensitive near orthogonality, leaving such relationships for the network to recover through a detour. We introduce Time-Frequency Geometric Cross-Attention (TFGCA), a drop-in module repairing both blind spots. TFGCA uses a per-dimension learnable stationary wavelet transform to decompose the action chunk into time-frequency tokens, and each time token retrieves information from them via a cross-attention that fuses the dot product (similarity) with the wedge-product magnitude (sensitive to near-orthogonality) through a learnable weight. A zero-initialized residual reproduces the base behavior at initialization, so it can be dropped onto a pretrained VLA and fine-tuned jointly. Relative to the same-source base, TFGCA improves in-distribution LIBERO by +1.5 on average, the OOD LIBERO-Plus by +6.3, the randomized average under RoboTwin domain randomization by +28.5, and the overall success rate on three real-robot AgiBot A2 tasks by +11.67 points, with larger gains out of distribution.