PAGER: Partial-to-global Alignment via Geometric and Relational Distillation

📄 arXiv: 2610.01589v1 📥 PDF

作者: Akira-Miranda Adeyomi Adeniran-Lowe, Binod Singh, Lars Arnold Dethlefsen, Lazaros Nalpantidis, Theodora Kontogianni

分类: cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出PAGER以解决部分视图与全局语义对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D编码器 特征对齐 无标签学习 跨数据集转移 几何信息 语义分割 机器人视觉

📋 核心要点

  1. 现有的3D编码器在全局重建场景中表现良好，但在处理部分视图时存在显著性能下降。
  2. PAGER通过无标签的适应方法，利用配对的几何信息对齐部分特征与全局语义空间，保持预训练编码器的冻结状态。
  3. 实验结果显示，PAGER在多个基准上超越了传统的标签监督方法，尤其在跨数据集转移任务中表现突出。

📝 摘要（中文）

预训练的3D编码器通常在全球重建场景中开发，而实际应用中，系统必须从部分、视角依赖的观察中推理。我们发现这种从全局学习的3D特征空间到现实部分观察的转变暴露了严重的表示不匹配。PAGER是一种无标签适应方法，通过配对的部分/全局几何对齐部分视图特征与冻结的全局3D语义空间。该方法在不使用部分视图标签的情况下，超越了标签监督的PEFT，并在零-shot的ScanNet到ScanNet++转移中表现优于完全微调的Sonata，表明保持冻结的全局表示可以改善跨数据集转移。

🔬 方法详解

问题定义：论文要解决的问题是如何有效地将部分视图特征与全局3D语义空间对齐。现有方法在处理部分视图时，表现出明显的性能下降，尤其是在坐标框架不匹配的情况下。

核心思路：PAGER的核心思路是通过无标签的适应方法，利用配对的几何信息来对齐部分视图特征与冻结的全局语义空间。这种设计旨在减少由于坐标框架不匹配导致的性能损失，同时保持全局表示的稳定性。

技术框架：PAGER的整体架构包括特征对齐模块和关系监督模块。特征对齐模块负责将部分特征锚定到其全局对应物，而关系监督模块则确保部分特征与全局表示之间的相似性结构得以保留。训练过程中使用全局几何提供监督，而推理则直接在部分观察上进行。

关键创新：PAGER的主要创新在于其无标签的适应方法，通过配对几何信息实现部分与全局特征的对齐。这与现有方法的本质区别在于不依赖于部分视图标签，从而降低了标注成本并提高了适应性。

关键设计：在设计上，PAGER保持了预训练编码器和全局分割探针的冻结状态，采用轻量级的适应模块。损失函数设计上，结合了特征对齐损失和关系监督损失，以确保对齐效果和结构相似性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PAGER在多个基准测试中表现优异，尤其是在ScanNet到ScanNet++的零-shot转移任务中，取得了53.93的mIoU，相较于完全微调的Sonata（48.09 mIoU）有显著提升，展示了其在跨数据集转移中的优势。

🎯 应用场景

PAGER的研究成果在机器人视觉、自动驾驶、增强现实等领域具有广泛的应用潜力。通过有效对齐部分视图与全局语义空间，能够提升系统在复杂环境中的理解和决策能力，进而推动智能系统的实际应用和发展。

📄 摘要（原文）

Pretrained 3D encoders are typically developed on globally reconstructed scenes expressed in a consistent world coordinate frame, whereas embodied systems must reason from partial, viewpoint-dependent observations in camera coordinates. We show that this shift from globally learned 3D feature spaces to realistic partial observations exposes a severe representation mismatch, which we find consistently across representative state-of-the-art encoders, including Sonata and Concerto. A frozen Sonata encoder with a global linear probe achieves 72.47 mIoU on full ScanNet scenes, but 2.57 mIoU on single-frame camera-coordinate inputs. Training-free gravity alignment recovers performance to 41.64 mIoU, showing that coordinate-frame mismatch is a dominant source of degradation but cannot be fully resolved through canonicalization alone. We introduce PAGER, a label-free adaptation method that aligns partial-view features with a frozen global 3D semantic space using only paired partial/global geometry. It learns lightweight adaptation modules while keeping the pretrained encoder and global segmentation probe frozen. Matched-point feature alignment anchors partial features to their global counterparts, while relational supervision preserves their similarity structure with respect to the global representation. Global geometry provides supervision only during training. Inference operates directly on the partial observation. Without partial-view labels, PAGER outperforms label-supervised PEFT on both Sonata and Concerto, and in zero-shot ScanNet$\rightarrow$ScanNet++ transfer surpasses fully fine-tuned Sonata ($53.93$ vs.\ $48.09$ mIoU), suggesting that preserving the frozen global representation can improve cross-dataset transfer.