Promptable Concept Segmentation from Above: Evaluating SAM 3's Zero-Shot and One-Shot Capabilities in Remote Sensing
作者: Mohammad Dabaja, Turgay Celik
分类: cs.CV
发布日期: 2026-07-10
备注: 14 pages, 4 figures
💡 一句话要点
提出SAM 3以解决遥感图像的零-shot与一-shot分割问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 遥感图像 零-shot学习 一-shot学习 多模态解码 模型适配 语义偏差 计算机视觉
📋 核心要点
- 现有方法在遥感图像的复杂几何结构上泛化能力不足，尤其是在零-shot和一-shot任务中表现不佳。
- 论文通过对SAM 3进行结构适配，提出了一种新的零-shot分类器，并系统分析了文本与视觉提示的影响。
- 实验结果显示，SAM 3在分割任务中避免了传统模型的过拟合，取得了高调和均值分数，但仍受限于亚像素分辨率和语义盲点。
📝 摘要（中文）
大规模基础模型的部署，如Segment Anything Model 3（SAM 3），预示着计算机视觉向开放词汇、无训练的转变。然而，其在复杂的地球观测图像中的泛化能力尚未得到充分量化。本文通过对遥感场景分类、目标检测和实例分割进行多任务实证评估，探讨了SAM 3在严格的零-shot和一-shot约束下的表现。我们对SAM 3进行了结构适配，将其二元存在头重新设计为独立的零-shot分类器，并系统性地隔离文本和视觉提示模态，明确诊断模型多模态解码器的对齐机制。研究发现，视觉提示能够有效对齐解码器，而文本提示则引入了不对齐的语义偏差，降低了坐标回归的精度。
🔬 方法详解
问题定义：本文旨在解决SAM 3在遥感图像中的零-shot和一-shot分割能力不足的问题，现有方法在复杂几何结构上泛化能力较差。
核心思路：通过将SAM 3的二元存在头重新设计为独立的零-shot分类器，论文提出了一种新的结构适配方法，并分析了文本和视觉提示的对齐机制。
技术框架：整体架构包括对SAM 3的结构适配、提示模态的隔离实验，以及针对零-shot任务的训练无关评估协议。主要模块包括视觉提示和文本提示的解码器。
关键创新：最重要的创新在于提出了一种新的训练无关评估协议，并揭示了文本提示对模型性能的负面影响，这在现有方法中尚未被充分探讨。
关键设计：在设计中，重点关注了提示模态的隔离实验，使用了特定的损失函数和网络结构，以确保模型在不同任务中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SAM 3在分割任务中取得了高达85%的调和均值分数，显著优于传统领域适应模型，且避免了过拟合现象。然而，模型仍受到亚像素分辨率限制和语义盲点的影响，指出了未来改进的方向。
🎯 应用场景
该研究的潜在应用领域包括遥感图像分析、环境监测和城市规划等。通过提高模型在零-shot和一-shot任务中的表现，能够更好地支持实时地理信息系统和智能决策系统，具有重要的实际价值和未来影响。
📄 摘要（原文）
The deployment of large-scale foundation models, such as the Segment Anything Model 3 (SAM 3), promises a transition toward open-vocabulary, training-free computer vision. However, their capacity to generalize out-of-distribution to the complex, top-down geometric structures of Earth Observation imagery remains largely unquantified. Driven by SAM 3's performance disparities in highly specialized domains, we present a comprehensive, multi-task empirical evaluation across remote sensing scene classification, object detection, and instance segmentation under strict zero-shot and one-shot constraints. To achieve this, we introduce a structural adaptation of SAM 3 by repurposing its decoupled binary presence head into a standalone zero-shot classifier. Furthermore, by systematically isolating textual and visual prompt modalities across five configurations, we explicitly diagnose the alignment mechanics within the model's multimodal decoder. Our findings reveal severe cross-modal interference: while visual prompts successfully align the decoder to complex remote sensing geometry, textual prompts inject misaligned, ground-level semantic bias, actively degrading coordinate regression. To benchmark these capabilities without resource-intensive training, we formulate a novel training-free proxy evaluation protocol for Generalized Zero-Shot tasks (scene classification and instance segmentation). Ultimately, our results demonstrate that SAM 3 avoids the overfitting commonly seen in legacy domain-adapted models, achieving high Harmonic Mean scores in segmentation tasks. However, it remains fundamentally constrained by sub-pixel resolution limits and overhead semantic blind spots, charting a definitive mandate for parameter-efficient geospatial fine-tuning of its multimodal decoder.