Quantile Rendering: Efficiently Embedding High-dimensional Feature on 3D Gaussian Splatting

📄 arXiv: 2512.20927v1 📥 PDF

作者: Yoonwoo Jeong, Cheng Sun, Frank Wang, Minsu Cho, Jaesung Choe

分类: cs.CV

发布日期: 2025-12-24

备注: Will be updated

💡 一句话要点

提出Quantile Rendering，高效嵌入高维特征于3D高斯溅射，提升开放词汇分割性能。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 开放词汇分割 高维特征渲染 Quantile Rendering 可泛化神经网络

📋 核心要点

  1. 现有3D开放词汇分割方法依赖特征压缩，导致信息损失，降低分割质量，是当前面临的核心问题。
  2. Q-Render通过稀疏采样射线上的主导高斯分布，避免了传统体渲染的密集采样，从而高效处理高维特征。
  3. 实验表明，该方法在ScanNet和LeRF数据集上优于现有技术，并在高维特征渲染中实现了显著的加速。

📝 摘要（中文）

本文提出了一种新的渲染策略Quantile Rendering (Q-Render)，用于高效处理3D高斯溅射中的高维特征，旨在解决现有开放词汇分割（OVS）方法中因特征压缩导致的信息损失问题。Q-Render通过稀疏采样沿射线上具有主导影响的高斯分布，而非密集采样所有相交高斯分布，从而保持高保真度。此外，本文还将Q-Render集成到一个可泛化的3D神经网络中，提出了高斯溅射网络（GS-Net），用于以可泛化的方式预测高斯特征。在ScanNet和LeRF上的大量实验表明，该框架优于现有技术，并在512维特征图上实现了约43.7倍的实时渲染加速。

🔬 方法详解

问题定义：现有基于3D高斯溅射的开放词汇分割方法在渲染高维特征时面临效率瓶颈。为了加速渲染过程，现有方法通常采用码本或特征压缩技术，但这会导致信息损失，从而降低分割的准确性。因此，如何在保证分割质量的前提下，高效地渲染高维特征是本文要解决的关键问题。

核心思路：本文的核心思路是提出一种新的渲染策略，即Quantile Rendering (Q-Render)。Q-Render不再像传统的体渲染那样密集采样所有与射线相交的3D高斯分布，而是仅稀疏采样那些对射线具有主导影响的高斯分布。通过这种方式，可以显著减少需要处理的高斯分布数量，从而提高渲染效率，同时避免因特征压缩而导致的信息损失。

技术框架：整体框架包含两个主要部分：首先，使用一个可泛化的3D神经网络（Gaussian Splatting Network, GS-Net）来预测高斯特征。然后，使用Q-Render策略来渲染这些高斯特征。GS-Net负责学习场景的几何和语义信息，并将其编码到高斯分布的特征中。Q-Render则负责将这些高斯特征渲染成最终的图像或分割结果。

关键创新：最重要的技术创新点在于Q-Render的稀疏采样策略。与传统的体渲染方法不同，Q-Render只关注那些对最终渲染结果贡献最大的高斯分布。这使得它能够在保证渲染质量的同时，显著提高渲染效率。此外，GS-Net的可泛化设计也使得该方法能够应用于不同的场景和数据集。

关键设计：Q-Render的关键设计在于如何确定哪些高斯分布对射线具有主导影响。本文采用分位数（Quantile）的概念来选择这些高斯分布。具体来说，对于每一条射线，首先计算所有相交高斯分布的透明度权重，然后选择那些透明度权重超过某个分位数阈值的高斯分布进行采样。这个分位数阈值可以根据实际情况进行调整，以平衡渲染质量和效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Q-Render在ScanNet和LeRF数据集上均优于现有技术。特别是在512维特征图的渲染中，Q-Render实现了约43.7倍的加速，同时保持了较高的分割精度。这表明Q-Render在处理高维特征时具有显著的优势，能够有效地提高渲染效率。

🎯 应用场景

该研究成果可广泛应用于三维场景理解、机器人导航、虚拟现实和增强现实等领域。通过高效地渲染高维特征，可以提升这些应用在复杂环境中的感知能力和交互体验。未来，该技术有望进一步推动三维视觉技术的发展，并为更多实际应用提供支持。

📄 摘要（原文）

Recent advancements in computer vision have successfully extended Open-vocabulary segmentation (OVS) to the 3D domain by leveraging 3D Gaussian Splatting (3D-GS). Despite this progress, efficiently rendering the high-dimensional features required for open-vocabulary queries poses a significant challenge. Existing methods employ codebooks or feature compression, causing information loss, thereby degrading segmentation quality. To address this limitation, we introduce Quantile Rendering (Q-Render), a novel rendering strategy for 3D Gaussians that efficiently handles high-dimensional features while maintaining high fidelity. Unlike conventional volume rendering, which densely samples all 3D Gaussians intersecting each ray, Q-Render sparsely samples only those with dominant influence along the ray. By integrating Q-Render into a generalizable 3D neural network, we also propose Gaussian Splatting Network (GS-Net), which predicts Gaussian features in a generalizable manner. Extensive experiments on ScanNet and LeRF demonstrate that our framework outperforms state-of-the-art methods, while enabling real-time rendering with an approximate ~43.7x speedup on 512-D feature maps. Code will be made publicly available.