WaveMan: mmWave-Based Room-Scale Human Interaction Perception for Humanoid Robots
作者: Yuxuan Hu, Kuangji Zuo, Boyu Ma, Shihao Li, Zhaoyang Xia, Feng Xu, Jianfei Yang
分类: cs.RO
发布日期: 2026-01-12
💡 一句话要点
WaveMan：基于毫米波的人形机器人房间尺度人机交互感知
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 毫米波雷达 人机交互 人形机器人 空间自适应 视点对齐
📋 核心要点
- 现有毫米波人机交互系统在不同距离和视角下泛化能力差，限制了其在实际家庭环境中的应用。
- WaveMan通过视点对齐、频谱图增强和双通道注意力机制，提升了系统在不同用户位置上的感知一致性和鲁棒性。
- 实验表明，WaveMan在固定位置评估下，仅需少量训练数据即可达到基线性能，并在自由位置测试中显著提升了准确率。
📝 摘要（中文）
在家庭环境中，可靠的人形机器人交互（HRI）受到两个基本要求的限制：对不受约束的用户位置的鲁棒性和保护用户隐私。毫米波（mmWave）传感天然支持隐私保护交互，使其成为房间尺度HRI的有希望的模态。然而，现有的基于毫米波的交互感知系统在未见距离或视点上表现出较差的空间泛化能力。为了解决这个挑战，我们引入了WaveMan，一个空间自适应的房间尺度感知系统，它可以恢复在任意用户位置上可靠的人机交互感知。WaveMan集成了视点对齐和频谱图增强以实现空间一致性，并采用双通道注意力机制以实现鲁棒的特征提取。跨五个参与者的实验表明，在固定位置评估下，WaveMan实现了与基线相同的跨位置精度，但使用的训练位置减少了五倍。在随机自由位置测试中，由于所提出的方法，准确率从33.00%提高到94.33%。这些结果证明了在不受约束的用户位置上，为家用人形机器人实现可靠的、隐私保护的交互的可行性。
🔬 方法详解
问题定义：现有基于毫米波的人机交互感知系统，在用户位置发生变化时，性能会显著下降。这是因为毫米波信号受距离和角度的影响较大，导致系统难以泛化到未见过的用户位置。因此，需要解决的问题是如何提高毫米波人机交互系统在不同用户位置上的鲁棒性和泛化能力。
核心思路：WaveMan的核心思路是通过空间自适应的方法，使系统能够感知并适应不同用户位置带来的毫米波信号变化。具体来说，通过视点对齐和频谱图增强来提高空间一致性，并利用双通道注意力机制来提取鲁棒的特征，从而实现对不同用户位置的可靠感知。
技术框架：WaveMan的整体框架包括以下几个主要模块：1) 毫米波雷达数据采集；2) 视点对齐模块，用于将不同视角的毫米波信号对齐到统一的坐标系下；3) 频谱图增强模块，用于增强毫米波信号的特征，减少噪声的影响；4) 双通道注意力模块，用于提取鲁棒的特征表示；5) 分类器，用于识别用户交互行为。
关键创新：WaveMan的关键创新在于其空间自适应的设计，包括视点对齐和频谱图增强，以及双通道注意力机制。视点对齐能够消除不同视角带来的信号差异，频谱图增强能够提高信号的信噪比，双通道注意力机制能够提取更鲁棒的特征表示。这些创新使得WaveMan能够更好地适应不同用户位置带来的毫米波信号变化。
关键设计：视点对齐模块使用旋转和平移变换将不同视角的毫米波信号对齐到统一的坐标系下。频谱图增强模块使用小波变换和自适应阈值分割来增强毫米波信号的特征。双通道注意力模块使用两个并行的注意力机制，分别关注毫米波信号的不同特征通道。损失函数采用交叉熵损失函数，用于训练分类器。
🖼️ 关键图片
📊 实验亮点
WaveMan在固定位置评估下，仅使用五分之一的训练位置即可达到与基线相同的跨位置精度。在随机自由位置测试中，WaveMan的准确率从33.00%显著提高到94.33%。这些结果表明，WaveMan能够有效地提高毫米波人机交互系统在不同用户位置上的鲁棒性和泛化能力，使其更适用于实际家庭环境。
🎯 应用场景
WaveMan技术可应用于家庭服务机器人、智能家居系统、医疗健康监测等领域。例如，家庭服务机器人可以利用该技术实现对用户意图的准确理解，从而提供更智能、更个性化的服务。智能家居系统可以利用该技术实现对用户行为的监测和分析，从而提供更安全、更舒适的居住环境。医疗健康监测领域可以利用该技术实现对老年人或病人的跌倒检测、活动监测等，从而提供更及时的医疗救助。
📄 摘要（原文）
Reliable humanoid-robot interaction (HRI) in household environments is constrained by two fundamental requirements, namely robustness to unconstrained user positions and preservation of user privacy. Millimeter-wave (mmWave) sensing inherently supports privacy-preserving interaction, making it a promising modality for room-scale HRI. However, existing mmWave-based interaction-sensing systems exhibit poor spatial generalization at unseen distances or viewpoints. To address this challenge, we introduce WaveMan, a spatially adaptive room-scale perception system that restores reliable human interaction sensing across arbitrary user positions. WaveMan integrates viewpoint alignment and spectrogram enhancement for spatial consistency, with dual-channel attention for robust feature extraction. Experiments across five participants show that, under fixed-position evaluation, WaveMan achieves the same cross-position accuracy as the baseline with five times fewer training positions. In random free-position testing, accuracy increases from 33.00% to 94.33%, enabled by the proposed method. These results demonstrate the feasibility of reliable, privacy-preserving interaction for household humanoid robots across unconstrained user positions.