Semantic-Edge Response Decoding of SAM3 for Zero-Shot Crack Segmentation
作者: Shipeng Liu, Zhanping Song, Liang Zhao, Dengfeng Chen
分类: cs.CV
发布日期: 2026-07-14
🔗 代码/项目: GITHUB
💡 一句话要点
提出语义边缘响应解码以解决零-shot裂缝分割问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 裂缝分割 零-shot学习 语义响应 边缘检测 基础设施检测 结构健康评估
📋 核心要点
- 现有裂缝分割方法通常依赖于任务特定的像素级注释，限制了其在实际应用中的灵活性和效率。
- 本研究提出的SERD方法通过解码内部语义响应，生成密集的裂缝可能性场，并结合边缘先验进行校准，避免了对注释的需求。
- 实验结果显示，SERD在六个数据集上平均裂缝IoU达到61.14%，比SAM3提高4.63个百分点，证明了其有效性。
📝 摘要（中文）
裂缝分割对于基础设施检查和结构健康评估至关重要，但现有高性能方法通常需要特定任务的像素级注释和训练。文本提示的视觉基础模型支持零-shot部署，但其最终的掩膜提案不适合细小、破碎和低对比度的裂缝。我们发现，SAM3解码器中的语言条件语义响应比最终掩膜保留了更连续和完整的裂缝证据。基于这一观察，我们提出了语义边缘响应解码（SERD），将内部响应解释为密集的裂缝可能性场，并通过轻量级边缘先验进行校准，使用统一的全局阈值生成裂缝掩膜，无需注释或微调。实验表明，SERD在六个公共数据集上始终优于原生SAM3，并超越了其他零-shot和开放词汇分割方法，平均裂缝IoU达到61.14%，比SAM3高出4.63个百分点。
🔬 方法详解
问题定义：本论文旨在解决现有裂缝分割方法在处理细小、破碎和低对比度裂缝时的不足，尤其是对像素级注释的依赖。
核心思路：论文提出的SERD方法通过解码SAM3解码器中的内部语义响应，生成密集的裂缝可能性场，并使用轻量级边缘先验进行校准，从而提高裂缝分割的准确性。
技术框架：SERD的整体架构包括三个主要模块：首先，解码器提取内部语义响应；其次，应用边缘先验进行校准；最后，使用全局阈值生成最终的裂缝掩膜。
关键创新：SERD的核心创新在于直接解码内部语义响应，而非依赖最终掩膜，这一设计使得对细小和非紧凑目标的分割效果显著提升。
关键设计：在参数设置上，SERD采用统一的全局阈值来生成掩膜，同时通过轻量级边缘先验来增强结构恢复能力，确保在不增加推理开销的情况下控制假阳性率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SERD在六个公共数据集上的平均裂缝IoU达61.14%，比原始SAM3提高了4.63个百分点。此外，SERD在结构恢复和假阳性控制方面表现优异，且未增加推理时间，显示出其在实际应用中的优势。
🎯 应用场景
该研究的潜在应用领域包括基础设施的自动化检测、结构健康监测以及灾后评估等。通过实现零-shot裂缝分割，SERD能够在缺乏标注数据的情况下，快速适应不同场景，提升检测效率和准确性，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Crack segmentation is essential for infrastructure inspection and structural health assessment, but existing high-performance methods typically require task-specific pixel-level annotations and training. Text-promptable vision foundation models enable zero-shot deployment, yet their final mask proposals are poorly suited to thin, fragmented, and low-contrast cracks, whose evidence may be suppressed, truncated, or over-expanded during mask generation. We find that language-conditioned semantic responses within the SAM3 decoder preserve more continuous and complete crack evidence than its final masks. Based on this observation, we propose Semantic-Edge Response Decoding (SERD), which interprets internal responses as a dense crack-likelihood field, calibrates them with a lightweight edge prior, and generates crack masks using a unified global threshold, without annotation or fine-tuning. Experiments on six public datasets show that SERD consistently improves over native SAM3 and outperforms the compared zero-shot and open-vocabulary segmentation methods, achieving an average Crack IoU of 61.14\%, 4.63 points higher than SAM3. Further analyses show that most gains arise from directly decoding internal semantic responses, while edge calibration improves structural recovery and false-positive control without increasing end-to-end inference overhead. These results suggest that, for thin and non-compact targets, internal continuous responses can provide a more transferable interface than the final masks of foundation models. Code is available at: https://github.com/xauat-liushipeng/SERD