A Transformer-based Multimodal Fusion Model for Efficient Crowd Counting Using Visual and Wireless Signals

📄 arXiv: 2504.20178v1 📥 PDF

作者: Zhe Cui, Yuli Li, Le-Nam Tran

分类: cs.CV, cs.LG

发布日期: 2025-04-28

备注: This paper was accepted at IEEE WCNC 2025

💡 一句话要点

提出TransFusion模型，融合视觉和无线信号，高效解决人群计数问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人群计数 多模态融合 Transformer网络 信道状态信息 卷积神经网络 全局上下文 局部特征

📋 核心要点

  1. 现有的人群计数模型依赖单一模态输入，导致信息损失和性能下降，无法充分利用多源数据。
  2. TransFusion模型融合视觉图像和无线信号（CSI），利用Transformer捕获全局上下文，CNN提取局部细节。
  3. 实验结果表明，TransFusion在人群计数任务中实现了高精度和高效率，显著降低了计数误差。

📝 摘要（中文）

当前的人群计数模型通常依赖于单一模态的输入，例如视觉图像或无线信号数据，这可能导致显著的信息损失和次优的识别性能。为了解决这些缺点，我们提出TransFusion，一种新颖的基于多模态融合的人群计数模型，它将信道状态信息（CSI）与图像数据集成。通过利用Transformer网络的强大能力，TransFusion有效地结合了这两种不同的数据模态，从而能够捕获全面的全局上下文信息，这对于准确的人群估计至关重要。然而，虽然Transformer能够很好地捕获全局特征，但它们可能无法识别对于精确人群计数至关重要的更精细的局部细节。为了缓解这个问题，我们将卷积神经网络（CNN）整合到模型架构中，增强其提取详细局部特征的能力，以补充Transformer提供的全局上下文。大量的实验评估表明，TransFusion在保持卓越效率的同时，实现了高精度和最小的计数误差。

🔬 方法详解

问题定义：论文旨在解决人群计数问题，现有方法主要依赖单一模态数据（图像或无线信号），导致信息不完整，计数精度受限。例如，仅使用图像可能受到遮挡、光照变化等因素影响，而仅使用无线信号则缺乏直观的视觉信息。因此，如何有效融合多模态信息，提升人群计数精度是亟待解决的问题。

核心思路：论文的核心思路是利用Transformer网络强大的全局建模能力，融合视觉图像和无线信号（CSI）两种模态的信息。同时，为了弥补Transformer在局部细节捕捉方面的不足，引入CNN来提取局部特征，从而实现全局上下文和局部细节的互补，提升人群计数精度。

技术框架：TransFusion模型主要包含以下几个模块：1) 图像特征提取模块：使用预训练的CNN（如ResNet）提取图像的视觉特征。2) CSI特征提取模块：对CSI数据进行预处理，并使用MLP或CNN提取无线信号特征。3) 多模态融合模块：将图像特征和CSI特征输入到Transformer编码器中进行融合，利用自注意力机制学习两种模态之间的关联性。4) 密度图预测模块：将融合后的特征输入到密度图预测网络中，生成人群密度图，从而实现人群计数。

关键创新：TransFusion的关键创新在于多模态融合策略。它并非简单地将两种模态的特征进行拼接或加权融合，而是利用Transformer的自注意力机制，动态地学习两种模态之间的关联性，从而更有效地融合多模态信息。此外，结合CNN提取局部特征，弥补了Transformer在局部细节捕捉方面的不足。

关键设计：在多模态融合模块中，使用了多层Transformer编码器，每层包含自注意力机制和前馈神经网络。自注意力机制允许模型关注不同模态特征之间的关联性。损失函数通常采用均方误差（MSE）或结构相似性损失（SSIM）来衡量预测密度图与真实密度图之间的差异。CSI数据的预处理方式，以及CNN和Transformer的具体网络结构，也会影响模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TransFusion模型在人群计数任务中取得了显著的性能提升。与仅使用单一模态数据的基线模型相比，TransFusion的平均绝对误差（MAE）和均方误差（MSE）均有明显降低。具体数据未知，但摘要表明TransFusion实现了高精度和最小的计数误差，同时保持了卓越的效率。

🎯 应用场景

TransFusion模型可应用于多种场景，如智能交通监控、大型活动安保、商场客流统计等。通过融合视觉和无线信号，可以更准确地估计人群密度，为安全管理、资源调度和商业决策提供数据支持。未来，该技术有望应用于更广泛的物联网和智能城市领域。

📄 摘要（原文）

Current crowd-counting models often rely on single-modal inputs, such as visual images or wireless signal data, which can result in significant information loss and suboptimal recognition performance. To address these shortcomings, we propose TransFusion, a novel multimodal fusion-based crowd-counting model that integrates Channel State Information (CSI) with image data. By leveraging the powerful capabilities of Transformer networks, TransFusion effectively combines these two distinct data modalities, enabling the capture of comprehensive global contextual information that is critical for accurate crowd estimation. However, while transformers are well capable of capturing global features, they potentially fail to identify finer-grained, local details essential for precise crowd counting. To mitigate this, we incorporate Convolutional Neural Networks (CNNs) into the model architecture, enhancing its ability to extract detailed local features that complement the global context provided by the Transformer. Extensive experimental evaluations demonstrate that TransFusion achieves high accuracy with minimal counting errors while maintaining superior efficiency.