MoCap2Radar: A Spatiotemporal Transformer for Synthesizing Micro-Doppler Radar Signatures from Motion Capture

📄 arXiv: 2511.11462v1 📥 PDF

作者: Kevin Chen, Kenneth W. Parker, Anish Arora

分类: cs.LG

发布日期: 2025-11-14

💡 一句话要点

MoCap2Radar：利用时空Transformer从动作捕捉数据合成微多普勒雷达信号

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 动作捕捉 雷达信号合成 微多普勒效应 时空Transformer 序列到序列学习

📋 核心要点

  1. 现有雷达数据生成方法计算成本高昂且数据稀缺，限制了高级雷达应用的发展。
  2. 提出一种基于Transformer的序列到序列模型，将动作捕捉数据转换为雷达频谱图，有效建模时空关系。
  3. 实验结果表明，该方法能够生成逼真的雷达频谱图，并具有良好的泛化能力，计算效率远高于传统方法。

📝 摘要（中文）

本文提出了一种纯机器学习方法，用于从动作捕捉(MoCap)数据合成雷达频谱图。我们将MoCap到频谱图的转换建模为一个窗口化的序列到序列任务，使用基于Transformer的模型联合捕获MoCap标记之间的空间关系和跨帧的时间动态。真实世界的实验表明，该方法生成了视觉上和数量上都合理的多普勒雷达频谱图，并实现了良好的泛化能力。消融实验表明，学习到的模型既能将多部分运动转换为多普勒信号，又能理解人体不同部位之间的空间关系。该结果是使用Transformer进行时间序列信号处理的一个有趣例子，尤其适用于边缘计算和物联网(IoT)雷达。它还表明，可以使用更丰富的MoCap数据来扩充稀缺的雷达数据集，以训练更高级别的应用。最后，与基于物理的方法相比，它所需的计算量要少得多。

🔬 方法详解

问题定义：论文旨在解决从动作捕捉(MoCap)数据生成逼真雷达频谱图的问题。现有基于物理的雷达数据生成方法计算复杂度高，耗时，且需要精确的物理参数建模。同时，真实雷达数据采集成本高昂，数据量有限，阻碍了基于深度学习的雷达应用发展。

核心思路：论文的核心思路是将MoCap数据到雷达频谱图的转换视为一个序列到序列的转换问题，利用Transformer模型学习MoCap数据中的空间关系（人体各部位之间的关系）和时间动态（运动随时间的变化），从而合成高质量的雷达频谱图。这种方法避免了复杂的物理建模，降低了计算成本，并能利用丰富的MoCap数据扩充雷达数据集。

技术框架：整体框架包含数据预处理、Transformer模型和后处理三个主要阶段。首先，对MoCap数据进行窗口化处理，将其分割成一系列时间窗口。然后，将这些窗口化的MoCap数据输入到基于Transformer的序列到序列模型中，该模型由编码器和解码器组成。编码器负责提取MoCap数据的时空特征，解码器则根据这些特征生成对应的雷达频谱图。最后，对生成的频谱图进行后处理，例如归一化和可视化。

关键创新：该论文的关键创新在于使用Transformer模型来建模MoCap数据和雷达频谱图之间的复杂关系。Transformer模型具有强大的时序建模能力和并行计算能力，能够有效地捕捉MoCap数据中的空间关系和时间动态。此外，该方法将MoCap数据到雷达频谱图的转换建模为一个序列到序列的任务，使得模型能够学习到MoCap数据和雷达频谱图之间的对应关系。

关键设计：论文使用标准的Transformer架构，并针对MoCap数据和雷达频谱图的特点进行了一些调整。例如，在编码器中，使用了位置编码来表示MoCap标记的空间位置信息。在解码器中，使用了注意力机制来关注MoCap数据中与当前时间步相关的部分。损失函数采用均方误差(MSE)损失，用于衡量生成频谱图与真实频谱图之间的差异。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够生成视觉上和数量上都合理的雷达频谱图，并且具有良好的泛化能力。消融实验验证了模型能够学习到人体各部位之间的空间关系以及运动与多普勒信号之间的对应关系。与基于物理的方法相比，该方法所需的计算量要少得多，更适用于资源受限的设备。

🎯 应用场景

该研究成果可应用于多种场景，包括：1) 边缘计算和物联网雷达应用，降低计算成本；2) 通过MoCap数据扩充雷达数据集，提升高级雷达应用的性能；3) 辅助开发和测试雷达系统，无需大量真实雷达数据；4) 动作识别和人体姿态估计等领域，提供更丰富的训练数据。

📄 摘要（原文）

We present a pure machine learning process for synthesizing radar spectrograms from Motion-Capture (MoCap) data. We formulate MoCap-to-spectrogram translation as a windowed sequence-to-sequence task using a transformer-based model that jointly captures spatial relations among MoCap markers and temporal dynamics across frames. Real-world experiments show that the proposed approach produces visually and quantitatively plausible doppler radar spectrograms and achieves good generalizability. Ablation experiments show that the learned model includes both the ability to convert multi-part motion into doppler signatures and an understanding of the spatial relations between different parts of the human body. The result is an interesting example of using transformers for time-series signal processing. It is especially applicable to edge computing and Internet of Things (IoT) radars. It also suggests the ability to augment scarce radar datasets using more abundant MoCap data for training higher-level applications. Finally, it requires far less computation than physics-based methods for generating radar data.