DiFF: Doppler-informed Flow Matching for Human Motion Flow

📄 arXiv: 2609.39098v1 📥 PDF

作者: Kai Wang, Mingle Zhao

分类: cs.RO, cs.CV, cs.HC

发布日期: 2026-09-30

备注: IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2026. Code: https://github.com/keroseus/DiFF

💡 一句话要点

提出DiFF以解决4D毫米波雷达人类运动流估计问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 4D毫米波雷达 人类运动估计 多普勒信息 生成模型 条件流匹配 KAN网络 人机交互 运动流

📋 核心要点

  1. 现有方法在处理4D毫米波雷达点云时，面临极端稀疏性和噪声导致的非刚性运动流估计不适定的问题。
  2. DiFF通过结合多普勒信息和KAN网络，提出了一种新的生成框架来解决运动流估计中的不适定性。
  3. 实验结果显示，DiFF在多个真实数据集上表现出色，3D端点误差在mmBody基准上降低至毫米级，达到了最先进的性能。

📝 摘要（中文）

通过隐私保护的4D毫米波雷达感知人类运动对于下一代人机交互至关重要，而点云场景流是基础的运动表示。然而，4D雷达点云的极端稀疏性和噪声使得非刚性运动流估计变得严重不适定，现有的刚性方法未能有效解决这一挑战，主要是因为它们忽视了4D雷达中固有的丰富多普勒速度线索。我们提出了DiFF，一个将多普勒信息运动先验与基于Kolmogorov-Arnold网络（KAN）的条件流匹配模型相结合的生成框架。核心的KAN注意力机制使得特征提取更加丰富，而先验引导的生成过程利用多普勒线索来规范不适定的解空间。大量实验表明，DiFF在多种真实世界数据集上实现了最先进的性能，在mmBody基准上将3D端点误差降低到毫米级。

🔬 方法详解

问题定义：本论文旨在解决4D毫米波雷达点云中非刚性运动流估计的挑战。现有方法多集中于刚性物体，未能有效利用多普勒速度信息，导致估计结果不准确。

核心思路：DiFF框架通过引入多普勒信息作为运动先验，结合KAN网络的条件流匹配模型，旨在规范不适定的解空间，从而提高运动流估计的准确性。

技术框架：DiFF的整体架构包括特征提取模块（KAN注意力机制）、生成模块（多普勒信息引导的生成过程）和流匹配模块。特征提取模块负责从稀疏点云中提取丰富的运动特征，而生成模块则利用多普勒信息来增强模型的鲁棒性。

关键创新：DiFF的主要创新在于将多普勒信息与条件流匹配相结合，形成了一种新的生成框架。这一方法与传统的刚性方法相比，能够更好地处理非刚性运动流估计中的不适定性问题。

关键设计：在设计中，KAN网络的注意力机制用于特征提取，损失函数则结合了多普勒信息的引导，以确保生成的运动流具有更高的准确性和鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DiFF在mmBody基准测试中将3D端点误差降低至毫米级，显著优于现有方法，展示了其在真实世界数据集上的最先进性能，验证了多普勒信息在运动流估计中的重要性。

🎯 应用场景

该研究在智能机器人、自动驾驶、安防监控等领域具有广泛的应用潜力。通过精确感知人类运动，DiFF能够提升人机交互的自然性与安全性，推动智能系统的进一步发展。

📄 摘要（原文）

Perceiving human motion via privacy-preserving 4D millimeter-wave (mmWave) radar is critical for next-generation human-robot interaction (HRI), where point cloud scene flow serves as a foundational motion representation. Yet the extreme sparsity and noise of 4D radar point clouds make non-rigid motion flow estimation severely ill-posed--a challenge that existing rigid-centric methods and prior works fail to adequately address, largely because they neglect the rich Doppler velocity cues inherent in 4D radar. We propose DiFF, a generative framework that marries Doppler-informed motion priors with a Kolmogorov-Arnold Network (KAN)-based conditional flow matching model. At its core, a KAN-attention mechanism enables expressive feature extraction, while a prior-guided generative process harnesses Doppler cues to regularize the ill-posed solution space. Extensive experiments show that DiFF achieves state-of-the-art (SOTA) performance across diverse real-world datasets, reducing 3D endpoint error to the millimeter scale on the mmBody benchmark.