FEWT: Improving Humanoid Robot Perception with Frequency-Enhanced Wavelet-based Transformers

📄 arXiv: 2509.11109v3 📥 PDF

作者: Jiaxin Huang, Hanyu Liu, Yunsheng Ma, Jian Shen, Yilin Zheng, Jiayi Wen, Baishu Wan, Pan Li, Zhigong Song

分类: cs.RO

发布日期: 2025-09-14 (更新: 2025-10-16)

💡 一句话要点

提出基于频率增强小波变换的Transformer（FEWT），提升人形机器人感知能力

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人形机器人 具身智能 模仿学习 Transformer 小波变换 频率增强 多尺度注意力

📋 核心要点

  1. 现有方法在人形机器人感知方面存在不足，难以有效融合空间和频率信息，导致鲁棒性较差。
  2. FEWT通过结合多尺度小波分解和Transformer，动态融合跨空间和频域的特征，提升感知能力。
  3. 实验表明，FEWT在模拟和真实环境中均显著提升了人形机器人的动作成功率，验证了其有效性。

📝 摘要（中文）

本研究旨在提升人形机器人的感知能力，开发了一个硬件平台，包括人形机器人和外骨骼式遥操作舱，以实现直观的远程操控和类人动作数据的高效收集。为此，提出了一种模仿学习框架，称为频率增强小波变换Transformer（FEWT），它由两个主要模块组成：频率增强高效多尺度注意力（FE-EMA）和时间序列离散小波变换（TS-DWT）。通过将多尺度小波分解与残差网络相结合，FE-EMA能够动态融合来自跨空间和频域的特征，从而有效地捕获各种尺度的特征信息，增强模型的鲁棒性。实验结果表明，FEWT在模拟环境中将最先进算法（ACT基线）的成功率提高了高达30%，在真实环境中提高了6-12%。

🔬 方法详解

问题定义：人形机器人感知是具身智能的关键环节，但现有方法难以充分利用空间和频率信息，导致在复杂环境下感知能力不足，鲁棒性较差。尤其是在模仿学习中，感知误差会严重影响动作的执行效果。

核心思路：论文的核心思路是将时间序列离散小波变换（TS-DWT）与Transformer结构相结合，利用小波变换提取不同频率的特征，并使用Transformer进行特征融合和时序建模。通过在频域上增强特征表示，提高模型对噪声和变化的鲁棒性。

技术框架：FEWT框架主要包含两个模块：FE-EMA（频率增强高效多尺度注意力）和TS-DWT（时间序列离散小波变换）。首先，TS-DWT对输入的时间序列数据进行多尺度分解，得到不同频率的子带。然后，FE-EMA模块利用多尺度注意力机制，动态融合来自不同频率子带的特征。最后，将融合后的特征输入到Transformer编码器中进行时序建模，输出动作预测。

关键创新：FEWT的关键创新在于将小波变换引入到Transformer结构中，实现了空间和频率信息的有效融合。传统的Transformer主要关注空间域的特征，而FEWT通过小波变换，能够提取不同频率的特征，从而提高模型对噪声和变化的鲁棒性。此外，FE-EMA模块采用高效的多尺度注意力机制，降低了计算复杂度。

关键设计：TS-DWT采用Haar小波进行分解，分解层数为3层。FE-EMA模块采用残差连接，并使用深度可分离卷积来降低计算复杂度。损失函数采用交叉熵损失函数，用于动作分类任务。训练过程中，使用Adam优化器，学习率为0.001，batch size为32。

📊 实验亮点

实验结果表明，FEWT在模拟环境中将ACT基线的成功率提高了30%，在真实环境中提高了6-12%。这表明FEWT能够有效地提升人形机器人的感知能力，并在真实环境中具有良好的泛化性能。此外，消融实验验证了FE-EMA和TS-DWT模块的有效性。

🎯 应用场景

该研究成果可应用于人形机器人的远程操控、自主导航、物体识别等领域。通过提升人形机器人的感知能力，可以使其更好地适应复杂环境，完成各种任务，例如灾难救援、医疗服务、智能制造等。未来，该方法还可以扩展到其他类型的机器人和具身智能系统中。

📄 摘要（原文）

The embodied intelligence bridges the physical world and information space. As its typical physical embodiment, humanoid robots have shown great promise through robot learning algorithms in recent years. In this study, a hardware platform, including humanoid robot and exoskeleton-style teleoperation cabin, was developed to realize intuitive remote manipulation and efficient collection of anthropomorphic action data. To improve the perception representation of humanoid robot, an imitation learning framework, termed Frequency-Enhanced Wavelet-based Transformer (FEWT), was proposed, which consists of two primary modules: Frequency-Enhanced Efficient Multi-Scale Attention (FE-EMA) and Time-Series Discrete Wavelet Transform (TS-DWT). By combining multi-scale wavelet decomposition with the residual network, FE-EMA can dynamically fuse features from both cross-spatial and frequency-domain. This fusion is able to capture feature information across various scales effectively, thereby enhancing model robustness. Experimental performance demonstrates that FEWT improves the success rate of the state-of-the-art algorithm (Action Chunking with Transformers, ACT baseline) by up to 30% in simulation and by 6-12% in real-world.