EmbPASS: Towards Cross-Embodiment Open Panoramic Segmentation

📄 arXiv: 2610.03248v1 📥 PDF

作者: Pujun Guo, Yuanfan Zheng, Fei Teng, Mengfei Duan, Guoqiang Zhao, Yuheng Zhang, Kai Luo, Kailun Yang

分类: cs.CV, cs.RO

发布日期: 2026-10-02

备注: 9 pages, 5 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出EmbPASS以解决跨平台全景图像分割问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 全景图像分割 跨平台感知 语义转移 关系感知 多模态学习

📋 核心要点

  1. 现有方法在处理不同具身平台的全景图像时，面临观察视角和空间布局的显著差异，导致感知一致性不足。
  2. 本文提出了EmbPASS基准和EPONet网络，旨在通过关系感知和内容自适应技术提升跨平台全景分割的性能。
  3. EPONet在EmbPASS基准上实现了35.82%的mIoU，较最强基线提升1.10%，并在现有全景分割基准中保持竞争力。

📝 摘要（中文）

全景图像提供了360度的视野，促进了对场景的全面理解。然而，不同的具身平台在观察视角和空间布局上存在显著差异，导致跨具身观察的转变，给一致和可靠的全景感知带来了额外挑战。为此，本文提出了跨具身开放全景分割的新任务，并建立了EmbPASS基准，涵盖了车辆、无人机、可穿戴设备和四足机器人等多种平台，提供了系统研究跨具身全景感知的测试平台。同时，提出了EPONet网络，通过集成关系感知度量适配器（RAMA）和内容自适应语义转移（CAST）来增强异构具身观察下的空间建模和语义转移。实验结果表明，EPONet在EmbPASS上实现了35.82%的mIoU，超越了最强基线1.10%。

🔬 方法详解

问题定义：本文旨在解决跨具身平台全景图像分割中的观察视角和空间布局差异所带来的挑战。现有方法在处理不同平台时，缺乏一致性和可靠性，导致分割性能下降。

核心思路：提出EmbPASS基准和EPONet网络，通过引入关系感知度量适配器（RAMA）和内容自适应语义转移（CAST），增强不同平台间的空间建模和语义转移能力，从而提升全景分割的准确性。

技术框架：EPONet的整体架构包括输入全景图像、RAMA模块用于捕捉不同平台间的关系信息，以及CAST模块用于自适应语义转移，最终输出语义分割结果。

关键创新：EPONet的主要创新在于结合了RAMA和CAST，能够有效处理异构平台间的观察差异，显著提升了全景分割的性能，与传统方法相比，具有更好的适应性和准确性。

关键设计：在网络设计中，采用了特定的损失函数以优化分割精度，并在RAMA和CAST模块中设置了关键参数，以确保模型在不同平台间的有效迁移和适应。具体参数设置和网络结构细节将在后续公开的代码中提供。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

EPONet在EmbPASS基准上实现了35.82%的mIoU，较最强基线提升1.10%。这一结果表明，EPONet在不同平台间的分割性能具有良好的平衡性，同时在现有全景分割基准中也保持了竞争力，展示了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、无人机监控、可穿戴设备的增强现实等。通过提升跨平台全景图像的分割能力，能够更好地支持智能机器人和自动化系统在复杂环境中的导航与决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Panoramic images provide a complete 360-degree field of view, enabling comprehensive scene understanding for embodied perception. However, heterogeneous embodied platforms exhibit substantial differences in observation viewpoints and spatial layouts, giving rise to cross-embodiment observation shifts that pose additional challenges to consistent and reliable panoramic perception, while systematic studies of this problem remain limited. To bridge this gap, we introduce a new task, termed Cross-Embodiment Open Panoramic Segmentation. Meanwhile, we establish EmbPASS, a multi-platform panoramic semantic segmentation benchmark spanning Vehicle, Drone, Wearable, and Quadruped platforms under a unified semantic taxonomy, providing a testbed for systematically studying cross-embodiment panoramic perception. We further propose EPONet, an open-vocabulary panoramic semantic segmentation network that integrates Relation-Aware Metric Adapter (RAMA) and Content-Adaptive Semantic Transfer (CAST) to enhance spatial modeling and semantic transfer under heterogeneous embodied observations. Extensive experiments show that EPONet achieves the best platform-balanced performance on EmbPASS with 35.82% mIoU, outperforming the strongest baseline by 1.10%, while remaining competitive on existing panoramic segmentation benchmarks. The source code and EmbPASS benchmark will be made publicly available at https://github.com/guopj1/EmbPASS.