PixGR: Pixel-Space Generative Decoding for Fast Feed-Forward 3D Reconstruction

📄 arXiv: 2610.31908v1 📥 PDF

作者: Ranran Huang, Wenjing Bian, Weixun Luo, Ye Mao, Krystian Mikolajczyk

分类: cs.CV

发布日期: 2026-10-22

备注: Project page: https://ranrhuang.github.io/pixgr/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PixGR以解决快速前馈3D重建中的场景不确定性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 生成建模 像素空间 前馈网络 稀疏视图 深度学习 计算机视觉

📋 核心要点

  1. 现有的3D重建方法在处理稀疏视图时面临场景不确定性和误差传播的问题，导致重建质量下降。
  2. PixGR通过将像素空间生成建模与前馈3D高斯重建相结合，提出了一种新颖的解决方案，能够有效建模场景不确定性。
  3. 实验结果显示，PixGR在稀疏视图设置下的性能优于传统回归方法，且推理速度保持在亚秒级，具有显著的实用价值。

📝 摘要（中文）

我们提出了PixGR，一个高效的框架，将轻量级的像素空间生成建模集成到前馈3D高斯重建中，以建模场景不确定性。上下文观察被编码为场景潜在表示，条件生成解码从噪声目标视图生成共享的3D高斯表示。我们使用像素空间流匹配来表述这一过程，使得3D重建的端到端优化成为可能，并通过可微渲染实现直接的像素空间生成监督。这避免了以VAE为基础的潜在压缩和先前两阶段管道中的误差传播。为了保持前馈效率，PixGR缓存场景表示，并使用轻量级的DiT解码器进行迭代推理。实验表明，PixGR在具有挑战性的稀疏视图设置中优于基于回归的方法，尤其是在观察间隔较大和视图外推的情况下，同时保持亚秒级推理，并与显著更重的预训练生成模型竞争。

🔬 方法详解

问题定义：本论文旨在解决在稀疏视图条件下进行3D重建时的场景不确定性问题。现有方法常常依赖于VAE等复杂模型，导致潜在压缩和误差传播，影响重建效果。

核心思路：PixGR的核心思路是将轻量级的像素空间生成建模与前馈3D高斯重建相结合，通过编码上下文观察为场景潜在表示，从而实现更高效的生成解码。

技术框架：PixGR的整体架构包括三个主要模块：首先是上下文观察的编码模块，其次是基于像素空间流匹配的生成解码模块，最后是轻量级DiT解码器进行的迭代推理。

关键创新：PixGR的主要创新在于避免了传统方法中的VAE潜在压缩和误差传播，通过直接的像素空间生成监督实现了端到端优化，显著提高了重建效率和质量。

关键设计：在设计上，PixGR采用了轻量级的网络结构和损失函数，确保了在保持高效推理的同时，能够有效地处理场景的不确定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PixGR在稀疏视图设置下的重建性能显著优于传统回归方法，尤其是在观察间隔较大和视图外推的情况下，重建质量提升幅度达到XX%。同时，PixGR的推理时间保持在亚秒级，展现出良好的实时性能。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在虚拟现实、增强现实和自动驾驶等领域。通过提高3D重建的效率和准确性，PixGR能够为场景理解和环境建模提供更可靠的支持，推动相关技术的发展和应用。

📄 摘要（原文）

We present PixGR, an efficient framework that integrates lightweight pixel-space generative modeling into feed-forward 3D Gaussian reconstruction to model scene uncertainty. Context observations are encoded once into a scene latent representation, which conditions generative decoding from noisy target views to produce a shared 3D Gaussian representation. We formulate this process using pixel-space flow matching, enabling end-to-end optimization of 3D reconstruction with direct pixel-space generative supervision through differentiable rendering. This avoids VAE-based latent compression and error propagation inherent in previous two-stage pipelines. To preserve feed-forward efficiency, PixGR caches the scene representation and performs iterative inference using a lightweight DiT decoder. Experiments demonstrate that PixGR outperforms regression-based approaches in challenging sparse-view settings, particularly with widely spaced observations and view extrapolation. Meanwhile, it maintains sub-second inference and remains competitive with substantially heavier pretrained generative models. Our project page is available at https://ranrhuang.github.io/pixgr/.