Privacy-Preserving Full-Body Meshing from mmWave Radar via Mesh Foundation Model Supervision

📄 arXiv: 2609.34768v1 📥 PDF

作者: Shuxing Zhang, Yongquan Ni, Zhenyu Ding, Yawen Lin

分类: cs.AI, cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出跨模态教师-学生框架以实现隐私保护的全身3D网格重建

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 毫米波雷达 隐私保护 3D网格重建 跨模态学习 动作捕捉 深度学习 时序建模

📋 核心要点

  1. 现有毫米波雷达技术在点云稀疏性方面存在显著不足，导致只能处理身体部位关键点，无法实现全身3D重建。
  2. 论文提出了一种跨模态教师-学生框架，通过网格基础模型和学生模型的协同工作，实现全身3D网格重建并提供关节不确定性。
  3. 在公共MM-Fi基准上，提出的方法达到了7.45 cm的12关节MPJPE，展示了显著的性能提升，尤其在点积累和速度损失方面的贡献。

📝 摘要（中文）

毫米波雷达（mmWave）能够实现隐私保护的人体感知，但商业单芯片传感器生成的点云极其稀疏（平均每帧约6.5个点，约28%为空帧），限制了以往研究仅能处理身体部位关键点或离散动作分类。本文提出了一种跨模态教师-学生框架，将商业雷达提升至全身、每帧的度量3D网格重建，并提供每个关节的不确定性。主要创新包括：使用无训练的网格基础模型教师生成全身MHR真值、采用学生模型进行时序变换和多假设输出，以及多阶段真值质量管道。实验结果表明，该方法在公共MM-Fi基准上达到了7.45 cm的12关节MPJPE，展示了点积累、速度损失等因素的因果价值。

🔬 方法详解

问题定义：本文旨在解决毫米波雷达在点云稀疏性导致的全身3D网格重建能力不足的问题。现有方法仅能处理身体部位关键点，无法提供全面的三维重建信息。

核心思路：论文提出的跨模态教师-学生框架通过结合网格基础模型和学生模型，利用单帧RGB图像生成全身网格真值，从而降低标注成本并提升重建精度。

技术框架：整体架构包括教师模型（SAM 3D Body）生成全身网格真值，学生模型（StudentPoseFormer）进行时序变换和多假设输出，最后通过多阶段真值质量管道进行验证和优化。

关键创新：最重要的技术创新在于使用无训练的网格基础模型生成全身MHR真值，显著降低了标注成本，并通过学生模型实现了对关节不确定性的真实报告。

关键设计：关键设计包括采用掩码注意力池化的集合编码、时序变换器和CVAE多假设头，输出关节均值和不确定性，同时实现了信心门控、深度验证和时间平滑等多阶段质量管道。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在公共MM-Fi基准上，提出的方法达到了7.45 cm的12关节MPJPE，相较于以往方法有显著提升。实验结果表明，点积累、速度损失等因素对性能的因果价值，尤其在快速动作下手腕的误差达到-2 cm，展示了方法的有效性。

🎯 应用场景

该研究在隐私保护的人体感知领域具有广泛的应用潜力，尤其适用于智能监控、健康监测和人机交互等场景。通过毫米波雷达的应用，可以在不侵犯个人隐私的前提下，实现高精度的人体动作捕捉和分析，推动相关技术的商业化和普及。

📄 摘要（原文）

Millimeter-wave (mmWave) radar enables privacy-preserving human perception, but the extreme sparsity of point clouds from commercial single-chip sensors (mean ~6.5 points/frame; ~28% empty frames) has confined prior art to body-part keypoints or discrete action classification. We present a cross-modal teacher-student framework that lifts commercial radar to full-body, per-frame, metric 3D mesh reconstruction with per-joint uncertainty. Three innovations: (1) a mesh-foundation-model teacher - SAM 3D Body produces whole-body MHR ground truth (70 joints, 18,439 mesh vertices) from a single RGB frame with zero training, slashing annotation cost by orders of magnitude; (2) StudentPoseFormer - set encoding with masked attention pooling, a temporal Transformer, and a CVAE multi-hypothesis head that outputs both the pose mean and per-joint variance, honestly reporting where the radar cannot see; and (3) a multi-stage ground-truth quality pipeline (confidence gating, depth validation, temporal smoothing, bone-length consistency, bad-frame rejection) plus systematic information-lever ablations. On the public MM-Fi benchmark (same TI IWR6843 sensor, cross-subject), our full configuration reaches 7.45 cm 12-joint MPJPE, with ablations proving the causal value of point accumulation (k = 3, -0.34 cm), Doppler (-0.85 cm; -2 cm at the wrist on fast actions), and velocity loss (-0.27 cm). On our own synchronized radar + RGB-D corpus with block-level held-out splits, the pipeline achieves 21.47 cm end-to-end (per-joint hierarchy from 4.8 cm at the hip to 34.7 cm at the wrist - matching physical information limits), could be improved to 15 cm with ~30k diverse samples, and a scaling law shows sample diversity, not volume, is the binding constraint. Deployment inference is radar-only - no camera, no image.