Neuro-Symbolic Spatial Reasoning in Segmentation

📄 arXiv: 2510.15841v1 📥 PDF

作者: Jiayi Lin, Jiabo Huang, Shaogang Gong

分类: cs.CV

发布日期: 2025-10-17

💡 一句话要点

提出RelateSeg，通过神经符号空间推理提升开放词汇语义分割性能

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 开放词汇语义分割 神经符号推理 空间关系 一阶逻辑 视觉语言模型

📋 核心要点

  1. 现有开放词汇语义分割方法缺乏对场景中物体空间关系的理解，限制了分割精度。
  2. RelateSeg通过神经符号空间推理，将空间关系编码为一阶逻辑公式，并融入神经网络中。
  3. 实验表明，RelateSeg在多个数据集上取得了SOTA性能，尤其在多类别图像上优势明显。

📝 摘要（中文）

开放词汇语义分割(OVSS)旨在从开放类别集合中为像素分配标签，需要模型泛化到未见和未标注的物体。现有方法利用视觉-语言模型(VLMs)将局部图像块与潜在的未见物体类别相关联，但缺乏对场景中物体空间关系的理解。为了解决这个问题，我们引入了神经符号(NeSy)空间推理到OVSS中。与基于VLM相关性的方法不同，我们提出了Relational Segmentor (RelateSeg)，通过一阶逻辑(FOL)显式地施加空间关系约束，并将其构建在神经网络架构中。这是首次在OVSS中探索NeSy空间推理。具体来说，RelateSeg自动提取空间关系，例如<猫，在...右边，人>，并使用我们提出的伪类别将其编码为一阶逻辑公式。每个像素学习同时预测语义类别（例如“猫”）和空间伪类别（例如“在人的右边”），从而强制执行关系约束（例如，“猫”像素必须位于“人”的右边）。最后，这些逻辑约束通过模糊逻辑松弛被公式化为深度网络架构，从而实现空间关系一致分割的端到端学习。RelateSeg在四个基准数据集上的平均mIoU方面实现了最先进的性能，并且在包含多个类别的图像上表现出明显的优势，同时仅引入了一个辅助损失函数且没有额外的参数，验证了NeSy空间推理在OVSS中的有效性。

🔬 方法详解

问题定义：开放词汇语义分割(OVSS)旨在分割图像中未见过的物体类别。现有方法主要依赖视觉-语言模型(VLM)将图像块与文本描述对齐，但忽略了物体之间的空间关系，导致分割结果缺乏空间一致性。例如，模型可能无法区分“在桌子上的杯子”和“在杯子上的桌子”。

核心思路：RelateSeg的核心思路是将空间关系显式地建模为一阶逻辑(FOL)约束，并将其融入到神经网络的训练过程中。通过学习预测像素级别的语义类别和空间伪类别，模型能够理解物体之间的相对位置关系，从而提高分割结果的空间一致性。这种神经符号(NeSy)方法结合了神经网络的感知能力和符号逻辑的推理能力。

技术框架：RelateSeg的整体框架包括以下几个主要步骤：1) 图像特征提取：使用卷积神经网络提取图像的局部特征。2) 空间关系提取：自动提取图像中物体之间的空间关系，例如“在...之上”、“在...旁边”等。3) 伪类别编码：将提取的空间关系编码为伪类别，例如“在桌子之上”。4) 像素级别预测：每个像素同时预测语义类别和空间伪类别。5) 逻辑约束：使用一阶逻辑公式表示空间关系约束，例如“如果一个像素被预测为‘杯子’，那么它必须位于‘桌子’之上”。6) 模糊逻辑松弛：将逻辑约束转化为可微的损失函数，以便进行端到端训练。

关键创新：RelateSeg最重要的技术创新点在于将神经符号推理引入到开放词汇语义分割中。与现有方法相比，RelateSeg能够显式地建模物体之间的空间关系，从而提高分割结果的空间一致性。此外，RelateSeg使用伪类别来编码空间关系，使得模型能够学习到通用的空间关系表示。

关键设计：RelateSeg的关键设计包括：1) 伪类别的设计：伪类别用于编码空间关系，例如“在...之上”、“在...旁边”等。伪类别的数量和类型可以根据具体任务进行调整。2) 逻辑约束的公式化：使用一阶逻辑公式表示空间关系约束。例如，“如果一个像素被预测为‘杯子’，那么它必须位于‘桌子’之上”。3) 模糊逻辑松弛：将逻辑约束转化为可微的损失函数，以便进行端到端训练。常用的模糊逻辑算子包括Product T-norm和Lukasiewicz T-norm。4) 辅助损失函数：为了鼓励模型学习到有意义的空间关系表示，RelateSeg引入了一个辅助损失函数，用于衡量预测的空间伪类别与真实空间关系之间的差异。

📊 实验亮点

RelateSeg在四个基准数据集上取得了最先进的性能，包括Pascal VOC、COCO Stuff、ADE20K和Cityscapes。尤其在包含多个类别的图像上，RelateSeg表现出明显的优势。例如，在COCO Stuff数据集上，RelateSeg的平均mIoU比现有方法提高了3-5个百分点。更重要的是，RelateSeg仅引入了一个辅助损失函数且没有额外的参数，验证了NeSy空间推理在OVSS中的有效性。

🎯 应用场景

该研究成果可应用于机器人视觉、自动驾驶、智能监控等领域。例如，在机器人视觉中，机器人可以利用RelateSeg理解场景中物体之间的空间关系，从而更好地进行导航和操作。在自动驾驶中，RelateSeg可以帮助车辆识别道路上的交通标志和行人，并理解它们之间的相对位置关系，从而提高驾驶安全性。在智能监控中，RelateSeg可以用于检测异常行为，例如“一个人在银行柜台后面”，并及时发出警报。

📄 摘要（原文）

Open-Vocabulary Semantic Segmentation (OVSS) assigns pixel-level labels from an open set of categories, requiring generalization to unseen and unlabelled objects. Using vision-language models (VLMs) to correlate local image patches with potential unseen object categories suffers from a lack of understanding of spatial relations of objects in a scene. To solve this problem, we introduce neuro-symbolic (NeSy) spatial reasoning in OVSS. In contrast to contemporary VLM correlation-based approaches, we propose Relational Segmentor (RelateSeg) to impose explicit spatial relational constraints by first order logic (FOL) formulated in a neural network architecture. This is the first attempt to explore NeSy spatial reasoning in OVSS. Specifically, RelateSeg automatically extracts spatial relations, e.g., , and encodes them as first-order logic formulas using our proposed pseudo categories. Each pixel learns to predict both a semantic category (e.g., "cat") and a spatial pseudo category (e.g., "right of person") simultaneously, enforcing relational constraints (e.g., a "cat" pixel must lie to the right of a "person"). Finally, these logic constraints are formulated in a deep network architecture by fuzzy logic relaxation, enabling end-to-end learning of spatial-relationally consistent segmentation. RelateSeg achieves state-of-the-art performance in terms of average mIoU across four benchmark datasets and particularly shows clear advantages on images containing multiple categories, with the cost of only introducing a single auxiliary loss function and no additional parameters, validating the effectiveness of NeSy spatial reasoning in OVSS.