Differentiable NMS via Sinkhorn Matching for End-to-End Fabric Defect Detection
作者: Zhengyang Lu, Bingjie Lu, Weifan Wang, Feng Wang
分类: cs.CV
发布日期: 2025-05-11
💡 一句话要点
提出基于Sinkhorn匹配的可微NMS，用于端到端织物缺陷检测
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 织物缺陷检测 可微NMS Sinkhorn匹配 端到端学习 二分图匹配
📋 核心要点
- 传统NMS阻断梯度传播，限制了端到端织物缺陷检测的性能优化。
- 论文将NMS转化为可微的二分图匹配问题，利用Sinkhorn-Knopp算法保持梯度流动。
- 实验表明，该方法在天池数据集上显著提升了织物缺陷检测的精度和速度。
📝 摘要（中文）
织物缺陷检测面临两大挑战：传统非极大值抑制（NMS）阻碍梯度流动，不利于端到端学习；工业规模的像素级标注成本高昂。为解决这些问题，我们提出了一种用于织物缺陷检测的可微NMS框架，通过端到端优化实现卓越的定位精度。我们将NMS重新表述为一个可微的二分图匹配问题，并通过Sinkhorn-Knopp算法求解，从而保持网络中不间断的梯度流动。该方法通过整合proposal质量、特征相似性和空间关系，专门针对织物缺陷的不规则形态和模糊边界。我们的熵约束掩码细化机制通过原则性的不确定性建模进一步提高了定位精度。在天池织物缺陷数据集上的大量实验表明，该方法在保持实时速度的同时，性能优于现有方法，适用于工业部署。该框架在不同架构中表现出显著的适应性，并能有效推广到通用目标检测任务。
🔬 方法详解
问题定义：织物缺陷检测任务中，传统NMS算法作为后处理步骤，由于其不可微性，阻碍了整个检测网络进行端到端的优化。此外，织物缺陷通常具有不规则的形状和模糊的边界，这使得精确定位缺陷变得困难。现有方法难以兼顾检测精度和推理速度，且对像素级标注的依赖性较高。
核心思路：论文的核心思路是将NMS过程重新建模为一个可微的二分图匹配问题。通过Sinkhorn-Knopp算法求解该匹配问题，可以得到一个软性的NMS结果，从而保持梯度在整个网络中的流动，实现端到端的优化。同时，该方法考虑了proposal的质量、特征相似性和空间关系，以更好地处理织物缺陷的特性。
技术框架：该框架主要包含以下几个模块：1) 特征提取网络，用于提取图像特征；2) Proposal生成模块，用于生成候选的缺陷区域；3) 可微NMS模块，使用Sinkhorn-Knopp算法进行二分图匹配，实现可微的NMS；4) 熵约束掩码细化模块，用于进一步提高缺陷定位的精度。整个流程是端到端可训练的。
关键创新：该论文的关键创新在于将NMS过程转化为一个可微的优化问题，并使用Sinkhorn-Knopp算法进行求解。与传统的NMS算法相比，该方法可以保持梯度流动，从而实现端到端的优化。此外，熵约束掩码细化机制通过不确定性建模，进一步提升了定位精度。
关键设计：Sinkhorn-Knopp算法用于求解二分图匹配问题，其迭代次数和正则化参数是关键的超参数。熵约束掩码细化模块使用交叉熵损失函数来优化掩码的预测结果，并引入熵正则化项来鼓励预测结果的不确定性。Proposal质量、特征相似性和空间关系被整合到二分图匹配的代价矩阵中，具体权重需要根据实验进行调整。
🖼️ 关键图片
📊 实验亮点
在天池织物缺陷数据集上的实验结果表明，该方法在检测精度上显著优于现有方法，同时保持了实时推理速度，满足工业部署的需求。具体而言，该方法在mAP指标上取得了显著提升，并且在不同类型的织物缺陷上都表现出良好的性能。实验还验证了该框架在不同网络架构上的适应性，以及在通用目标检测任务上的有效性。
🎯 应用场景
该研究成果可应用于纺织行业的自动化质量检测，提高生产效率，降低人工成本。该方法具有良好的泛化能力，可以扩展到其他工业产品的缺陷检测，例如电子元件、金属零件等。未来，可以进一步研究如何减少对标注数据的依赖，实现弱监督或无监督的缺陷检测。
📄 摘要（原文）
Fabric defect detection confronts two fundamental challenges. First, conventional non-maximum suppression disrupts gradient flow, which hinders genuine end-to-end learning. Second, acquiring pixel-level annotations at industrial scale is prohibitively costly. Addressing these limitations, we propose a differentiable NMS framework for fabric defect detection that achieves superior localization precision through end-to-end optimization. We reformulate NMS as a differentiable bipartite matching problem solved through the Sinkhorn-Knopp algorithm, maintaining uninterrupted gradient flow throughout the network. This approach specifically targets the irregular morphologies and ambiguous boundaries of fabric defects by integrating proposal quality, feature similarity, and spatial relationships. Our entropy-constrained mask refinement mechanism further enhances localization precision through principled uncertainty modeling. Extensive experiments on the Tianchi fabric defect dataset demonstrate significant performance improvements over existing methods while maintaining real-time speeds suitable for industrial deployment. The framework exhibits remarkable adaptability across different architectures and generalizes effectively to general object detection tasks.