HybridSim: A Physics-Learning Hybrid Digital Twin for mmWave Human Sensing
作者: Weitao Xiong, Tianyu Liu, Peng Li, Kok Chung Chua, Toa Chean Khim, Pu Wang, Hongfei Xue
分类: cs.CV
发布日期: 2026-07-20
💡 一句话要点
提出HybridSim以解决毫米波人类感知中的高保真信号模拟问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 毫米波雷达 人类感知 物理学习 混合模拟 图卷积网络 信号传播 数据增强
📋 核心要点
- 现有毫米波雷达信号模拟方法在特定场地收集准确标记数据的成本高昂，限制了其应用。
- HybridSim通过物理学习与混合模拟，分解信号传播过程，优化动态人类网格的毫米波信号合成。
- 实验结果显示，HybridSim在固定房间设置下与物理基础参考的吻合度显著提高，并在雷达人类感知任务中表现出一致的性能提升。
📝 摘要（中文）
高保真毫米波雷达信号的模拟对于动态人类运动的雷达感知模型开发至关重要，但在特定部署场地收集准确标记的测量数据成本高昂。本文提出HybridSim，一种物理学习混合模拟器，能够在固定室内环境下合成动态人类网格的毫米波雷达信号，明确将传播过程分解为两个部分。通过三平面表示法提取人类特征，并利用图卷积网络稳定优化过程，减轻梯度不稳定性。直接信号路径通过逆渲染公式与微面BRDF建模，以捕捉主要表面反射；间接路径则结合3D高斯点云与虚拟接收器几何形状，拟合并重现特定场地的多径干扰模式，显著降低了计算成本。实验结果表明，HybridSim在固定房间设置下与物理基础参考的吻合度提高，并在下游雷达人类感知任务中表现出一致的提升。
🔬 方法详解
问题定义：本文旨在解决毫米波雷达信号模拟中高保真度与数据收集成本之间的矛盾。现有方法在特定场地的准确标记数据收集成本高，限制了其应用范围。
核心思路：HybridSim通过物理学习与混合模拟的方式，将信号传播过程分解为直接路径和间接路径，从而优化动态人类网格的毫米波信号合成，降低计算复杂度。
技术框架：HybridSim的整体架构包括两个主要模块：1) 直接信号路径的建模，采用逆渲染与微面BRDF；2) 间接信号路径的建模，结合3D高斯点云与虚拟接收器几何形状。
关键创新：最重要的技术创新在于将信号传播过程明确分解为直接和间接路径，利用图卷积网络稳定优化过程，显著降低了计算成本，相较于传统的全光线追踪方法具有本质区别。
关键设计：在参数设置上，采用三平面表示法提取人类特征，并通过图卷积网络减轻梯度不稳定性，损失函数设计上注重优化信号路径的准确性与稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，HybridSim在固定房间设置下与物理基础参考的吻合度提高，且在下游雷达人类感知任务中表现出一致的性能提升，具体提升幅度未明确给出，但表明了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括智能家居、安防监控和人机交互等，能够为毫米波雷达技术在动态人类感知中的应用提供高效的模拟工具，降低数据收集成本，推动相关技术的发展与普及。
📄 摘要（原文）
High-fidelity simulation of mmWave radar signals for dynamic human motion is valuable for developing radar-based human sensing models; yet collecting accurately labeled measurements for a specific deployment site remains expensive. We present HybridSim, a physics-learning hybrid simulator that synthesizes mmWave radar signals from dynamic human meshes under a fixed indoor room configuration, explicitly decoupling propagation into two components. To parameterize the human subject, we use a tri-plane representation to extract human features and a Graph Convolutional Network to stabilize optimization and mitigate gradient instability. The direct signal path is modeled via an inverse-rendering formulation with a microfacet BRDF to capture primary surface reflections. In parallel, the indirect path is approximated by combining 3D Gaussian Splatting with a virtual-receiver geometry to fit and reproduce site-specific multipath interference patterns, achieving substantially lower computational cost than explicit full ray tracing. Experiments in a fixed-room setting show improved agreement with a physically based reference and consistent gains on downstream radar-based human sensing tasks when using HybridSim for site-specific data augmentation.