Weave Mamba Fusion: Global Cross-Scale Interaction for Lightweight Face Detection

📄 arXiv: 2610.05865v1 📥 PDF

作者: Dohun Kim, Jinmyung Jung

分类: cs.CV, cs.AI

发布日期: 2026-10-05

🔗 代码/项目: GITHUB

💡 一句话要点

提出Weave Mamba Fusion以解决轻量级人脸检测中的跨尺度依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人脸检测 特征金字塔 跨尺度融合 轻量级模型 深度学习 计算机视觉 状态空间模型

📋 核心要点

  1. 现有的人脸检测方法在小尺度、遮挡和极端姿态等非约束条件下表现不佳，难以捕捉全局跨尺度依赖。
  2. 论文提出Weave Mamba Fusion（WMF），通过列间交织相邻金字塔尺度，实现高效的跨尺度特征交互。
  3. WeaveFace检测器在WIDER FACE数据集上取得91.41%的平均AP，且在Hard子集上达到87.14%的AP，表现优异。

📝 摘要（中文）

特征金字塔方法（如FPN和BiFPN）在多尺度特征融合的人脸检测中表现出色。然而，在小尺度、遮挡和极端姿态等非约束条件下检测人脸仍然困难，因为这需要全局跨尺度依赖，而局部融合无法建模。Mamba等状态空间模型通过将特征序列扫描提供全局上下文，但需要将两个金字塔尺度合并为单一特征图。本文提出的Weave Mamba Fusion（WMF）通过列间交织相邻金字塔尺度，使得每一步的双向SS2D扫描能够在两个尺度之间移动，从而实现高效的跨尺度交互。整合WMF的WeaveFace检测器在WIDER FACE数据集上实现了91.41%的平均AP，参数仅为0.34M，GFLOPs为1.16，超越了之前的检测器。

🔬 方法详解

问题定义：本文旨在解决轻量级人脸检测中由于小尺度、遮挡和极端姿态导致的跨尺度依赖问题。现有方法如FPN和BiFPN在处理这些情况时存在局限，无法有效捕捉全局上下文信息。

核心思路：论文提出的Weave Mamba Fusion（WMF）通过列间交织相邻金字塔尺度，使得每一步的双向SS2D扫描能够在两个尺度之间移动，从而实现高效的跨尺度交互，避免了传统方法中尺度合并导致的信息丢失。

技术框架：整体架构包括特征金字塔生成、WMF融合模块和最终的检测网络。WMF模块在每个融合节点中集成，确保特征在不同尺度间的有效交互。

关键创新：WMF的主要创新在于其通过列间交织的方式实现了跨尺度特征的高效融合，避免了传统方法中通过求和或拼接导致的性能损失。

关键设计：WMF采用部分通道处理和无参数去交织设计，确保了特征结构的保留和计算效率的提升。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

WeaveFace检测器在WIDER FACE数据集上实现了91.41%的平均AP，参数仅为0.34M，GFLOPs为1.16，显著优于之前的轻量级检测器，尤其在Hard子集上达到87.14%的AP，展现了优秀的检测能力。

🎯 应用场景

该研究的潜在应用领域包括安防监控、智能家居、社交媒体图像处理等。通过提高人脸检测的准确性和效率，WeaveFace检测器能够在各种复杂环境中提供更可靠的服务，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Feature pyramid methods, from FPN to BiFPN, have achieved strong performance in face detection by fusing multi-scale features. However, detecting faces under unconstrained conditions, such as small scale, occlusion, and extreme pose, remains difficult, as it requires global cross-scale dependencies that local fusion cannot model. State space models such as Mamba provide global context with linear complexity by scanning features as a sequence, and therefore offer a promising direction for this problem. Nevertheless, such a scan needs the two pyramid scales combined into a single feature map, and the way they are combined determines whether cross-scale structure is preserved. Summation collapses the two scales before the scan, so the scan has no cross-scale structure to exploit, while concatenation keeps both scales but at far higher cost. To address this, we propose \textbf{Weave Mamba Fusion (WMF)}, which interleaves two adjacent pyramid scales column by column so that each step of a horizontal bidirectional SS2D scan moves from one scale to the other. With partial-channel processing and parameter-free de-weaving, WMF enables efficient cross-scale interaction while preserving feature structure. Integrating WMF into every fusion node yields \textbf{WeaveBiFPN}, the neck of our \textbf{WeaveFace} detector. On WIDER FACE, WeaveFace achieves 91.41\% mean AP with only 0.34M parameters and 1.16 GFLOPs, outperforming prior detectors under 0.5M parameters. Its largest gains are on the Hard subset, where it reaches 87.14\% AP. The code is publicly available at \url{https://github.com/dohun-mat/WeaveMambaFusion}.