mmHRI: Towards Privacy-Preserving Human-Robot Interaction with Millimeter-Wave Radar
作者: Junqiao Fan, Yuxuan Hu, Bofan Lyu, Yanshuo Lu, Pengfei Liu, Jiarui Zhang, Fangqiang Ding, Lihua Xie, Gen Li, Jianfei Yang
分类: cs.RO, cs.CV
发布日期: 2026-09-28
💡 一句话要点
提出mmHRI以解决隐私保护的人机交互问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 毫米波雷达 隐私保护 人机交互 双流架构 状态空间模型 机器人技术 动作识别
📋 核心要点
- 现有的人机交互系统依赖RGB摄像头，存在隐私泄露风险，尤其在医院和餐厅等敏感环境中。
- 论文提出mmHRI框架，利用毫米波雷达进行隐私保护的人机交互，采用双流架构和记忆状态空间模型来处理雷达数据。
- 实验表明，mmHRI在隐私保护环境下的动作识别准确率达到85.09%，并在视觉遮挡条件下成功完成任务，表现稳定。
📝 摘要（中文）
辅助机器人在许多人性化环境中执行各种人机交互任务，如物品递送。然而，现有的人机交互系统大多依赖RGB摄像头持续观察人类，导致在隐私敏感环境中存在隐私问题。为此，本文提出mmHRI，利用毫米波雷达实现隐私保护的人机交互。mmHRI通过双流架构和基于记忆的状态空间模型，解决了雷达数据的稀疏性和时间不一致性问题。实验结果表明，在隐私保护环境下，mmHRI的动作识别准确率达到85.09%，并在视觉遮挡条件下成功完成物品递送和取回任务。
🔬 方法详解
问题定义：本文旨在解决现有基于RGB摄像头的人机交互系统在隐私敏感环境中的隐私泄露问题。现有方法在医院、餐厅等场景中受到限制，无法有效执行人机交互任务。
核心思路：论文提出mmHRI框架，利用毫米波雷达技术，通过不依赖可识别图像的方式感知人类动作，从而实现隐私保护的人机交互。设计双流架构和记忆状态空间模型，以应对雷达数据的稀疏性和时间不一致性。
技术框架：mmHRI框架包括两个主要模块：双流架构和记忆状态空间模型。双流架构从原始雷达张量和雷达点云中共同学习，以估计人类动作和三维姿态。记忆状态空间模型则用于保留历史雷达特征，减少姿态和动作的突变。
关键创新：mmHRI的主要创新在于首次将毫米波雷达应用于隐私保护的人机交互，并通过双流架构和记忆模型有效解决了雷达数据的稀疏性和不一致性问题。这与现有方法的本质区别在于不依赖视觉信息。
关键设计：在双流架构中，采用了原始雷达张量和点云的联合学习策略。记忆状态空间模型设计了历史特征的存储机制，以平滑信号波动。此外，结构化的文本指令生成模块将估计的人类状态转化为机器人控制指令，确保闭环操作的有效性。
🖼️ 关键图片
📊 实验亮点
在隐私保护环境下，mmHRI实现了85.09%的动作识别准确率，显著优于现有雷达基方法。此外，机器人在视觉遮挡条件下成功完成物品递送和取回任务，表现出稳定的任务执行能力，适应多种环境和配置。
🎯 应用场景
该研究的潜在应用领域包括医疗辅助、服务机器人和智能家居等场景，能够在保护用户隐私的前提下，实现高效的人机交互。未来，mmHRI有望推动隐私保护技术在机器人领域的广泛应用，提升人机协作的安全性和可靠性。
📄 摘要（原文）
Assistive robots increasingly operate in many human-centered environments and perform various human-robot interaction (HRI) tasks, such as object delivery. However, most existing HRI systems rely on RGB cameras that continuously observe humans to respond to non-verbal commands, such as hand gestures. This raises privacy concerns in privacy- critical environments, such as hospital wards or restaurants, where direct camera observation of humans is restricted. To develop privacy-preserving HRI, we leverage millimeter-wave (mmWave) radar, which can sense human motion through privacy barriers without identifiable imagery. We propose mmHRI, the first multi-modal robot manipulation framework that achieves mmWave radar-guided privacy-preserving HRI. mmHRI introduces two key designs to mitigate the sparsity and temporal inconsistency of radar data in cluttered robot manipulation environments. First, we propose a dual-stream architecture that jointly learns from unfiltered raw radar tensors and radar point clouds to estimate both human actions and 3D poses. To mitigate signal inconsistency, mmHRI further incorporates a memory-based state-space model (MSSM) that retains historical radar features to reduce abrupt changes in pose/action. These estimated human states are then converted into structured textual robot instructions, which control a vision-language-action (VLA) policy for closed-loop robot manipulation and human-aware reactions. Our evaluation covers human action recognition and closed-loop delivery and retrieval. In the privacy-preserving curtain setting, mmHRI achieves 85.09% action-recognition accuracy, outperforming existing radar-based alternatives. Robot trials further demonstrate successful delivery and retrieval under visual occlusion, with stable task performance across unseen subjects, clutter configurations, and environments.