Seeing Beyond: Extrapolative Domain Adaptive Panoramic Segmentation

📄 arXiv: 2603.15475v1 📥 PDF

作者: Yuanfan Zheng, Kunyu Peng, Xu Zheng, Kailun Yang

分类: cs.CV, cs.LG, cs.RO, eess.IV

发布日期: 2026-03-16

备注: Accepted to CVPR 2026. The code is available at https://github.com/zyfone/EDA-PSeg

🔗 代码/项目: GITHUB

💡 一句话要点

提出EDA-PSeg框架，解决跨域全景语义分割中的几何畸变和语义不一致问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 全景语义分割 领域自适应 开放集学习 几何畸变 图匹配

📋 核心要点

  1. 现有方法难以应对全景语义分割中严重的几何畸变和跨域语义不一致问题。
  2. EDA-PSeg框架通过Euler-Margin Attention和Graph Matching Adapter来解决几何偏移和语义不确定性。
  3. 实验表明，EDA-PSeg在多个基准数据集上实现了最先进的性能，并具有良好的泛化能力。

📝 摘要（中文）

本文提出了一种名为Extrapolative Domain Adaptive Panoramic Segmentation (EDA-PSeg)的框架，用于解决跨域全景语义分割问题。该问题由于严重的几何视场(FoV)畸变和跨域不一致的开放集语义而极具挑战性。EDA-PSeg框架在局部透视视图上进行训练，并在完整的360°全景图像上进行测试，显式地解决了跨域的几何FoV偏移和由先前未见过的类别引起的语义不确定性。为此，本文提出了Euler-Margin Attention (EMA)，它引入了一个角度裕度来增强视角不变的语义表示，同时执行幅度和相位调制以提高对未见过的类别的泛化能力。此外，本文设计了Graph Matching Adapter (GMA)，它构建高阶图关系以对齐FoV偏移的共享语义，同时通过结构自适应有效地分离新类别。在相机偏移、天气条件和开放集场景下的四个基准数据集上的大量实验表明，EDA-PSeg实现了最先进的性能，对各种观看几何形状的鲁棒泛化，以及在不同环境条件下的弹性。

🔬 方法详解

问题定义：跨域全景语义分割旨在将模型从一个领域（例如合成数据）迁移到另一个领域（例如真实世界数据），同时处理360°全景图像特有的几何畸变。现有方法在处理视角变化引起的特征偏移以及开放集场景下未见过的类别时表现不佳，导致分割精度下降。

核心思路：EDA-PSeg的核心思路是通过解耦几何信息和语义信息，并分别进行处理，从而实现更好的跨域泛化能力。Euler-Margin Attention旨在学习视角不变的语义表示，而Graph Matching Adapter则用于对齐不同视角的共享语义并区分新类别。

技术框架：EDA-PSeg框架主要包含两个核心模块：Euler-Margin Attention (EMA) 和 Graph Matching Adapter (GMA)。EMA模块嵌入到语义分割网络中，用于提取视角不变的特征。GMA模块则在特征空间中构建图结构，用于对齐不同领域的语义信息。整体流程为：首先使用EMA提取特征，然后使用GMA进行领域对齐和新类别分离，最后进行语义分割。

关键创新：EDA-PSeg的关键创新在于EMA和GMA的结合使用。EMA通过引入角度裕度来增强视角不变性，并使用幅度和相位调制来提高对未知类别的泛化能力。GMA则通过图匹配的方式，显式地建模了不同视角之间的关系，并利用结构自适应来区分新类别。这种结合使得EDA-PSeg能够有效地处理几何畸变和语义不一致问题。

关键设计：EMA模块的关键设计在于Euler角的使用和Margin的引入。Euler角用于表示视角的变化，Margin则用于拉开不同类别的特征表示。GMA模块的关键设计在于图结构的构建和匹配策略。图节点表示特征向量，边表示特征之间的关系。匹配策略则用于寻找不同领域之间对应的节点。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

EDA-PSeg在四个基准数据集上取得了state-of-the-art的性能。在开放集场景下，EDA-PSeg能够有效地识别和分割未见过的类别，显著优于现有方法。实验结果表明，EDA-PSeg具有良好的泛化能力和鲁棒性，能够适应不同的环境条件和视角变化。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、虚拟现实等领域。通过提升全景图像的语义分割精度，可以帮助自动驾驶系统更好地理解周围环境，提高导航的准确性和安全性。在虚拟现实中，可以生成更逼真的3D场景，提升用户体验。此外，该技术还可以应用于城市规划、环境监测等领域。

📄 摘要（原文）

Cross-domain panoramic semantic segmentation has attracted growing interest as it enables comprehensive 360° scene understanding for real-world applications. However, it remains particularly challenging due to severe geometric Field of View (FoV) distortions and inconsistent open-set semantics across domains. In this work, we formulate an open-set domain adaptation setting, and propose Extrapolative Domain Adaptive Panoramic Segmentation (EDA-PSeg) framework that trains on local perspective views and tests on full 360° panoramic images, explicitly tackling both geometric FoV shifts across domains and semantic uncertainty arising from previously unseen classes. To this end, we propose the Euler-Margin Attention (EMA), which introduces an angular margin to enhance viewpoint-invariant semantic representation, while performing amplitude and phase modulation to improve generalization toward unseen classes. Additionally, we design the Graph Matching Adapter (GMA), which builds high-order graph relations to align shared semantics across FoV shifts while effectively separating novel categories through structural adaptation. Extensive experiments on four benchmark datasets under camera-shift, weather-condition, and open-set scenarios demonstrate that EDA-PSeg achieves state-of-the-art performance, robust generalization to diverse viewing geometries, and resilience under varying environmental conditions. The code is available at https://github.com/zyfone/EDA-PSeg.