LonGaussian: Tracking Foundation Priors for Long-Context Feedforward Gaussian Reconstruction
作者: Zhoufeng Xie, Guanjun Wu, Shuai Zhang, Xinggang Wang, Wenyu Liu
分类: cs.CV
发布日期: 2026-10-16
💡 一句话要点
提出LonGaussian以解决长视频3D重建问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 长视频理解 高斯重建 3D重建 机器人感知 流式处理 深度学习
📋 核心要点
- 现有的前馈高斯重建方法在处理长视频时面临GPU内存需求增加和冗余表面表示等挑战。
- LonGaussian通过流式前馈框架，利用长上下文几何特征解码为密集高斯，解决了长视频重建问题。
- 在DL3DV和RealEstate10K基准测试中，LonGaussian显著提高了新视角渲染质量，同时使用的高斯数量大幅减少。
📝 摘要（中文）
从长视频中重建高质量、可渲染的3D场景对于机器人感知和具身智能至关重要。现有的前馈高斯重建方法在处理较短图像集时表现良好，但在扩展到长序列时面临GPU内存需求增加和冗余表面表示等瓶颈。本文提出了LonGaussian，一个流式前馈框架，能够从已知内参和未知相机位姿的长图像序列中重建紧凑的、全局可渲染的高斯场景。LonGaussian基于预训练的流式3D重建骨干网络，将长上下文几何特征解码为密集高斯。在每个块内，多帧点轨迹连接相同表面的重复观测，并引导学习合并以整合相应的高斯预测。渲染深度一致性过滤进一步抑制了来自其他块的错误遮挡局部重建表面的高斯。在DL3DV和RealEstate10K基准测试中，LonGaussian在使用显著更少的高斯的情况下提高了新视角渲染质量。
🔬 方法详解
问题定义：本文旨在解决从长视频中重建高质量3D场景的挑战，现有方法在处理长序列时面临GPU内存和存储成本的瓶颈。
核心思路：LonGaussian的核心思路是通过流式处理长上下文几何特征，将其解码为密集高斯，从而避免冗余表示和内存消耗。
技术框架：LonGaussian的整体架构包括一个预训练的流式3D重建骨干网络，分块处理图像序列，并通过多帧点轨迹链接相同表面的观测。
关键创新：最重要的创新在于引入了多帧点轨迹和学习合并机制，有效整合了相同表面的高斯预测，显著提高了渲染质量。
关键设计：在设计中，采用了渲染深度一致性过滤来抑制错误遮挡的高斯，同时优化了网络结构以适应长序列处理。
🖼️ 关键图片
📊 实验亮点
LonGaussian在DL3DV和RealEstate10K基准测试中表现优异，显著提高了新视角渲染质量，使用的高斯数量比现有前馈基线减少了许多，展示了其在长视频重建中的有效性。
🎯 应用场景
该研究在机器人感知、虚拟现实和增强现实等领域具有广泛的应用潜力。通过高效重建3D场景，能够提升机器人的环境理解能力和交互体验，推动具身智能的发展。
📄 摘要（原文）
Reconstructing high-quality, renderable 3D scenes from long videos is essential for robotic perception and embodied intelligence. Many feed-forward Gaussian reconstruction methods rapidly predict 3D scenes from a small set of images, but extending them to longer sequences presents two bottlenecks: jointly processing all views increases GPU memory requirements, while accumulating pixel-aligned predictions redundantly represents the same surfaces and increases storage and rendering costs. We present LonGaussian, a streaming feed-forward framework that reconstructs compact, globally renderable Gaussian scenes from long image sequences with known intrinsics and unknown camera poses. Built on a pretrained streaming 3D reconstruction backbone, LonGaussian decodes long-context geometric features into dense Gaussians. Within each chunk, multi-frame point tracks link repeated observations of the same surface and guide a learned merger to consolidate the corresponding Gaussian predictions. Rendered-depth consistency filtering further suppresses Gaussians from other chunks that incorrectly occlude locally reconstructed surfaces. On DL3DV and RealEstate10K benchmarks, LonGaussian improves novel-view rendering quality while using substantially fewer Gaussians than the evaluated feed-forward baselines.