Sparse Code Uplifting for Efficient 3D Language Gaussian Splatting

📄 arXiv: 2605.13600v1 📥 PDF

作者: Lovre Antonio Budimir, Yushi Guan, Steve Ryhner, Sven Lončarić, Nandita Vijaykumar

分类: cs.CV

发布日期: 2026-05-13

备注: 18 pages (9 pages main paper), 10 figures, preprint

💡 一句话要点

提出SCOUP，解耦语言表示学习与3D高斯优化，实现高效3D语言高斯溅射

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D语言高斯溅射 稀疏编码 语言表示学习 3D场景理解 高效渲染

📋 核心要点

  1. 现有3DLGS方法在将高维视觉-语言嵌入与3D高斯关联时，面临存储成本高、渲染速度慢等问题。
  2. SCOUP通过解耦语言表示学习和3D高斯优化，利用稀疏码本表示和加权稀疏聚合，提升效率。
  3. 实验表明，SCOUP在训练速度、内存效率和查询准确性方面均优于或匹配现有方法。

📝 摘要（中文）

3D语言高斯溅射(3DLGS)通过与语言对齐的视觉特征增强了3D高斯溅射，用于开放词汇的3D场景理解。核心挑战在于如何有效地将高维视觉-语言嵌入与数百万个3D高斯关联，同时保持高效的特征渲染以支持基于文本的查询。现有方法要么直接在高斯上存储密集特征，导致高存储成本和缓慢的渲染速度，要么通过昂贵的单场景优化和重复的特征栅格化来学习紧凑的表示。目前没有方法能够同时实现快速的3D语义重建、高效的存储和快速的渲染。我们提出了SCOUP（稀疏代码提升），通过将语言表示学习与3D高斯优化解耦来解决所有这三个问题。我们没有直接在3D中工作，而是完全使用与2D图像区域相关的特征来学习基于稀疏码本的表示，将每个区域与一组稀疏的码本系数相关联。然后，我们使用高斯到像素的关联，通过加权稀疏聚合将这些系数提升到3D高斯，其中每个高斯累积跨视图的码本原子上的系数。Top-$K$过滤然后提取每个高斯最主要的多视图系数，从而实现高效的存储和快速的渲染。我们的方法实现了高达400倍的训练加速，同时在渲染速度方面比最先进的方法节省3倍的内存。在多个基准测试中，SCOUP在开放词汇查询准确性方面与现有方法相匹配或优于现有方法。

🔬 方法详解

问题定义：现有3D语言高斯溅射(3DLGS)方法在处理大规模场景时，需要将高维的视觉-语言嵌入信息存储在每个3D高斯中，导致存储成本巨大，并且在渲染时需要处理大量的特征，影响渲染速度。此外，一些方法尝试学习紧凑的表示，但需要昂贵的单场景优化，涉及重复的特征栅格化，效率较低。因此，如何在保证语义理解能力的同时，实现快速的3D语义重建、高效的存储和快速的渲染，是当前3DLGS方法面临的痛点。

核心思路：SCOUP的核心思路是将语言表示学习与3D高斯优化解耦。具体来说，它首先在2D图像空间学习稀疏的码本表示，然后将这些表示“提升”到3D高斯空间。这种解耦的设计避免了直接在3D空间进行昂贵的特征学习和优化，从而提高了效率。通过稀疏表示，减少了存储需求和渲染时的计算量。

技术框架：SCOUP的整体框架可以分为以下几个阶段： 1. 2D特征提取与稀疏编码：从2D图像中提取视觉特征，并使用稀疏码本学习每个图像区域的稀疏表示。 2. 系数提升：利用高斯到像素的关联，将2D图像区域的稀疏码本系数聚合到3D高斯上。每个高斯累积来自不同视角的码本原子上的系数。 3. Top-K过滤：对每个高斯，选择最主要的K个多视图系数，用于后续的渲染和查询。 4. 渲染与查询：使用选择的稀疏系数进行高效的渲染和基于文本的查询。

关键创新：SCOUP最重要的创新点在于其解耦的设计和稀疏表示的应用。与现有方法直接在3D高斯上存储密集特征或进行昂贵的单场景优化不同，SCOUP通过在2D空间学习稀疏表示，然后将这些表示提升到3D空间，实现了高效的特征学习和存储。这种解耦的设计使得语言表示学习和3D高斯优化可以独立进行，从而提高了整体效率。

关键设计： * 稀疏码本学习：使用稀疏编码技术，例如L1正则化，学习每个图像区域的稀疏表示。码本的大小和稀疏度是关键参数。 * 加权稀疏聚合：使用高斯到像素的关联作为权重，将2D系数聚合到3D高斯上。权重的计算方式会影响最终的表示效果。 * Top-K过滤：选择每个高斯最主要的K个系数。K的选择需要在存储效率和表示能力之间进行权衡。 * 损失函数：可能包含重建损失、稀疏性损失等，用于优化码本和系数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SCOUP在训练速度上实现了高达400倍的加速，同时在训练期间的内存效率提高了3倍。在开放词汇查询准确性方面，SCOUP在多个基准测试中与现有技术水平的方法相匹配或优于现有技术水平的方法。这些结果表明，SCOUP在效率和准确性方面都具有显著的优势。

🎯 应用场景

SCOUP技术可应用于各种需要高效3D场景理解的领域，例如：机器人导航、增强现实、虚拟现实、自动驾驶等。该方法能够快速构建具有语义信息的3D场景，并支持基于文本的查询，从而实现更智能的人机交互和场景理解。未来，该技术有望推动3D场景理解在实际应用中的普及。

📄 摘要（原文）

3D Language Gaussian Splatting (3DLGS) augments 3D Gaussian Splatting with language-aligned visual features for open-vocabulary 3D scene understanding. A core challenge is efficiently associating high-dimensional vision-language embeddings with millions of 3D Gaussians while preserving efficient feature rendering for text-based querying. Existing methods either store dense features directly on Gaussians, causing high storage costs and slow rendering, or learn compact representations through expensive per-scene optimization with repeated feature rasterization. No existing method simultaneously achieves fast 3D semantic reconstruction, efficient storage, and fast rendering. We propose SCOUP (Sparse COde UPlifting), which addresses all three by decoupling language representation learning from 3D Gaussian optimization. Rather than working directly in 3D, we learn sparse codebook-based representations entirely using features associated with 2D image regions, associating each region with a sparse set of codebook coefficients. We then uplift these coefficients to 3D Gaussians with our weighted sparse aggregation using Gaussian-to-pixel associations, where each Gaussian accumulates coefficients over codebook atoms across views. Top-$K$ filtering then extracts the most dominant multi-view coefficients per Gaussian, enabling efficient storage and fast rendering. Our method achieves up to $400\times$ training speedup while being $3\times$ more memory efficient during training compared to the state-of-the-art in rendering speed. Across multiple benchmarks, SCOUP matches or outperforms existing methods in open-vocabulary querying accuracy.