Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis
作者: Keerthi Kaashyap, Dennis Anthony, Akshay Krishnan, Nhi Ngoc Nguyen, Jeremy Collins, James Hays, Shreyas Kousik, Animesh Garg
分类: cs.CV, cs.AI, cs.RO
发布日期: 2026-10-02
备注: Accepted to NeurIPS 2026
💡 一句话要点
提出SNAP以解决现有NVS方法的几何表示学习问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 新视角合成 几何表示学习 自监督学习 编码器-解码器 计算机视觉 机器人导航 深度学习
📋 核心要点
- 现有的基于编码器的新视角合成方法在几何表示学习上表现不佳，主要由于架构选择不当。
- 提出SNAP，通过姿态条件的局部解码器和潜在空间重建目标，提升了几何表示的能力。
- SNAP在多个任务上表现出色，尤其在面对相机位移时，其性能优于传统2D表示方法。
📝 摘要（中文）
本文研究了新视角合成（NVS）在几何表示学习中的作用。理论上，NVS应能够推理3D场景结构，从而实现可转移的多视角几何表示。然而，现有基于编码器的NVS方法表现不佳，原因在于不显眼的架构选择：空间表达能力强的解码器稀释了场景编码器的表示能力，而低级像素空间目标则阻碍了特征学习。我们提出了SNAP，一个自监督的编码器-解码器变换器，通过姿态条件的局部解码器和潜在空间重建目标来解决这两个问题。SNAP具有任务无关性，并且在视觉定位、姿态估计、点对应、深度估计和机器人操作等五个任务上表现出色，竞争力不亚于专门的几何监督方法。SNAP的补丁特征展现出接近重度监督模型的视角不变性，尽管计算和数据预算较低。
🔬 方法详解
问题定义：论文要解决的问题是现有NVS方法在几何表示学习中的不足，主要体现在编码器的表示能力被解码器稀释，以及低级像素空间目标阻碍特征学习。
核心思路：SNAP的核心思路是通过限制解码器的表达能力，增强编码器的几何表示能力，从而实现更有效的特征学习。这样的设计使得模型在处理3D场景时能够更好地保留几何信息。
技术框架：SNAP的整体架构包括一个自监督的编码器-解码器变换器，主要模块包括姿态条件的局部解码器和潜在空间重建目标。这种结构使得模型能够在不同任务中保持良好的性能。
关键创新：SNAP的关键创新在于其通过限制解码器的表达能力，主动防止可转移几何结构的抑制。这与现有方法的本质区别在于，SNAP能够在较低的计算和数据预算下实现更好的几何表示。
关键设计：SNAP在参数设置上采用了自监督学习策略，损失函数设计为潜在空间重建目标，网络结构则结合了局部解码器和编码器的协同工作，以优化几何表示能力。
🖼️ 关键图片
📊 实验亮点
SNAP在五个任务上表现出色，尤其在视觉定位和姿态估计方面，其性能与专门的几何监督方法相当。实验结果显示，SNAP的补丁特征展现出接近重度监督模型的视角不变性，且在相机位移情况下表现更为稳健，显示出其在低计算和数据预算下的优势。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的3D重建、机器人导航和增强现实等。SNAP的自监督学习方法能够降低对标注数据的依赖，提升模型在多种任务中的适应性和泛化能力，未来可能在智能机器人和自动驾驶等领域产生重要影响。
📄 摘要（原文）
This paper examines the role of Novel View Synthesis (NVS) in geometric representation learning. In principle, NVS should reason about 3D scene structure, thereby enabling transferable multi-view geometric representations. Yet, existing encoder-based NVS methods yield poor representations. This is not because of a lack of supervisory signal, but rather due to inconspicuous architectural choices: \textit{spatially expressive decoders} that dilute representational capabilities of the scene encoder, and \textit{low-level pixel-space targets} that hinder feature learning. We present SNAP, a self-supervised encoder-decoder transformer that addresses both through a pose-conditioned local decoder and a latent-space reconstruction objective. SNAP is task agnostic, and we show that it is competitive with special-purpose geometry-supervised methods. SNAP also performs competitively against self-supervised representations across five tasks: visual localization, pose estimation, point correspondence, depth estimation, and robot manipulation. Remarkably, SNAP's patch features exhibit emergent viewpoint invariance that approaches heavily supervised models despite lower compute and data budgets. Under camera shifts where standard 2D representations collapse, SNAP degrades more gracefully, revealing that restricting decoder expressivity actively prevents the suppression of transferable geometric structure. https://snap-nvs.github.io