Emergent Multi-View Geometry Through Self-Distillation

📄 arXiv: 2609.39227v1 📥 PDF

作者: David Nordström, Thibaut Loiseau, Vincent Lepetit, Michael Felsberg, Guillaume Bourmaud, Fredrik Kahl

分类: cs.CV, cs.AI

发布日期: 2026-09-30

💡 一句话要点

提出Poincar3以解决多视角几何学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自监督学习 多视角几何 蒸馏训练 3D重建 相机姿态估计 视觉表示学习

📋 核心要点

  1. 现有的视觉表示学习方法多依赖单张图像，缺乏对空间几何的有效理解。
  2. Poincar3通过自蒸馏从多个视角学习表示，避免了RGB重建的局限性，能够从头开始训练。
  3. Poincar3在多个任务上超越了现有方法，尤其是在3D重建和相机姿态估计方面表现优异。

📝 摘要（中文）

亨利·庞加莱曾指出，静止观察者无法获得空间概念。然而，大多数视觉表示学习方法仅依赖单张图像，而多视角方法又依赖RGB重建，将几何与外观纠缠在一起。我们提出了Poincar3，这是一种自监督方法，通过自蒸馏从多个视角学习表示，而不是依赖RGB重建。我们结合了掩蔽补丁和图像级蒸馏，利用观察额外视角的教师进行训练，从而无需显式的3D监督。Poincar3在对应估计、相机姿态估计和3D重建方面超越了之前的单视角和多视角自监督方法，如DINOv3、MuM和Muskie。使用轻量级的庞加莱适配器，我们还发现所学习的特征比现有自监督表示更准确地编码相机运动。

🔬 方法详解

问题定义：本论文旨在解决现有视觉表示学习方法在多视角几何理解上的不足，特别是依赖RGB重建导致的几何与外观的纠缠问题。

核心思路：Poincar3通过自蒸馏机制，从多个视角学习表示，利用教师网络观察额外视角，避免了对3D监督的需求，提升了学习效率和效果。

技术框架：整体架构包括掩蔽补丁蒸馏和图像级蒸馏两个主要模块，教师网络负责从多个视角提取信息，学生网络则从中学习表示。

关键创新：Poincar3的核心创新在于自蒸馏的设计，使得模型能够在无显式3D监督的情况下有效学习多视角几何信息，与传统依赖RGB重建的方法本质上不同。

关键设计：在损失函数设计上，结合了掩蔽补丁和图像级蒸馏的损失，确保模型能够有效捕捉几何特征，同时采用轻量级的庞加莱适配器以提高特征编码的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Poincar3在多个任务上表现出色，尤其是在对应估计、相机姿态估计和3D重建方面，超越了DINOv3、MuM和Muskie等基线方法，展示了显著的性能提升，具体提升幅度未知。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的3D重建、机器人导航和增强现实等。通过提高多视角几何理解的能力，Poincar3能够在实际场景中提供更准确的空间信息，推动相关技术的发展与应用。

📄 摘要（原文）

Over a century ago, Henri Poincaré argued that a motionless observer cannot acquire the notion of space. Yet, most visual representation learning methods operate on individual images, while those that leverage multiple views rely on RGB reconstruction, entangling geometry with appearance. We propose Poincar3, a self-supervised method that learns representations from multiple views through self-distillation instead of RGB reconstruction. We combine masked patch and image-level distillation with a teacher that observes additional views, enabling training from scratch without explicit 3D supervision. Poincar3 outperforms both previous single and multi-view self-supervised approaches such as DINOv3, MuM, and Muskie on correspondence estimation, camera pose estimation, and 3D reconstruction. Using a lightweight Poincaré adapter, we also find that our learned features encode camera motion more accurately than existing self-supervised representations.