mmFlux: Crowd Flow Analytics with Commodity mmWave MIMO Radar
作者: Anurag Pallaprolu, Winston Hurst, Yasamin Mostofi
分类: eess.SP, cs.CV
发布日期: 2025-07-09 (更新: 2025-08-29)
💡 一句话要点
提出mmFlux，利用毫米波雷达进行人群流量分析与语义推断
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 毫米波雷达 人群流量分析 光流估计 几何图 人群语义
📋 核心要点
- 现有方法难以有效利用毫米波雷达数据进行人群流量分析，尤其是在噪声和复杂运动模式下。
- mmFlux结合光流估计、统计滤波和几何图表示，从毫米波雷达数据中提取人群运动模式和语义信息。
- 实验表明，mmFlux能够高精度重建人群流动结构，并准确推断人群语义，例如转弯、边界、分散和聚集。
📝 摘要（中文）
本文提出了一种名为mmFlux的新框架，用于利用毫米波雷达提取潜在的人群运动模式并推断人群语义。首先，我们提出的信号处理流程结合了视觉中的光流估计概念以及新颖的统计和形态噪声滤波方法。这种方法生成高保真度的毫米波流场，即人群运动的紧凑2D向量表示。然后，我们引入了一种新方法，将这些流场转换为有向几何图。在这些图中，边捕获主要的流动方向，顶点标记人群的分裂或合并，并且流量分布在边上量化。最后，我们表明，分析局部雅可比矩阵并计算相应的旋度和散度能够提取关键的人群语义，适用于结构化和扩散人群。我们使用商用毫米波雷达在3个区域对多达20人的群体进行了21次实验。我们的框架实现了底层流动结构的高保真图重建，即使对于复杂的人群模式，也表现出强大的空间对齐和流动分割比的精确量化。最后，我们的旋度和散度分析准确地推断了关键的人群语义，例如，突然转弯、流动方向转变的边界、分散和聚集。总的来说，这些发现验证了mmFlux，强调了其在各种人群分析应用中的潜力。
🔬 方法详解
问题定义：现有的人群流量分析方法通常依赖于视觉信息，但在光照不足或遮挡严重的情况下表现不佳。毫米波雷达具有穿透性和抗干扰能力，但其数据处理和人群语义提取仍面临挑战，尤其是在噪声抑制和复杂运动模式识别方面。
核心思路：mmFlux的核心思路是将毫米波雷达数据转化为高保真度的流场表示，然后利用几何图结构对流场进行建模，最后通过分析流场的局部雅可比矩阵来提取人群语义。这种方法结合了视觉光流估计的优点和毫米波雷达的特性，能够有效地处理噪声和复杂运动模式。
技术框架：mmFlux的整体框架包括三个主要阶段：1) 信号处理流程，结合光流估计和噪声滤波，生成毫米波流场；2) 将流场转换为有向几何图，其中边表示主要流动方向，顶点表示人群分裂或合并；3) 分析局部雅可比矩阵，计算旋度和散度，提取人群语义。
关键创新：mmFlux的关键创新在于将视觉光流估计的概念引入到毫米波雷达数据处理中，并结合统计和形态噪声滤波，生成高保真度的流场。此外，利用有向几何图对流场进行建模，并分析局部雅可比矩阵，实现了人群语义的有效提取。
关键设计：在信号处理流程中，采用了统计和形态噪声滤波方法来抑制毫米波雷达数据中的噪声。在几何图构建中，边的权重根据流量强度进行设置，顶点的选择基于人群分裂或合并的检测。在语义提取中，旋度和散度的计算采用了合适的差分方法，以保证计算的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，mmFlux能够高精度地重建人群流动结构，即使在复杂的人群模式下也能保持强大的空间对齐。流动分割比的量化也十分精确。旋度和散度分析能够准确地推断关键的人群语义，例如突然转弯、流动方向转变的边界、分散和聚集。这些结果验证了mmFlux的有效性。
🎯 应用场景
mmFlux可应用于智能交通管理、公共安全监控、零售客流分析等领域。通过实时分析人群流量和行为模式，可以优化交通流量、预测潜在的安全风险、改善零售布局和营销策略。该研究为利用毫米波雷达进行人群行为理解提供了新的思路，具有广阔的应用前景。
📄 摘要（原文）
In this paper, we present mmFlux: a novel framework for extracting underlying crowd motion patterns and inferring crowd semantics using mmWave radar. First, our proposed signal processing pipeline combines optical flow estimation concepts from vision with novel statistical and morphological noise filtering. This approach generates high-fidelity mmWave flow fields-compact 2D vector representations of crowd motion. We then introduce a novel approach that transforms these fields into directed geometric graphs. In these graphs, edges capture dominant flow currents, vertices mark crowd splitting or merging, and flow distribution is quantified across edges. Finally, we show that analyzing the local Jacobian and computing the corresponding curl and divergence enables extraction of key crowd semantics for both structured and diffused crowds. We conduct 21 experiments on crowds of up to 20 people across 3 areas, using commodity mmWave radar. Our framework achieves high-fidelity graph reconstruction of the underlying flow structure, even for complex crowd patterns, demonstrating strong spatial alignment and precise quantitative characterization of flow split ratios. Finally, our curl and divergence analysis accurately infers key crowd semantics, e.g., abrupt turns, boundaries where flow directions shift, dispersions, and gatherings. Overall, these findings validate mmFlux, underscoring its potential for various crowd analytics applications.