FACT-GS: Frequency-Aligned Complexity-Aware Texture Reparameterization for 2D Gaussian Splatting

📄 arXiv: 2511.23292 📥 PDF

作者: Tianhao Xie, Linlian Jiang, Xinxin Zuo, Yang Wang, Tiberiu Popa

分类: cs.CV, cs.GR

发布日期: 2026-04-06

💡 一句话要点

FACT-GS：面向2D高斯溅射的频率对齐复杂度感知纹理重参数化

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 纹理重参数化 非均匀采样 变形场 实时渲染

📋 核心要点

  1. 现有基于纹理的高斯溅射方法采用均匀采样，忽略了局部视觉复杂度的差异，导致纹理空间利用率低。
  2. FACT-GS通过可学习的变形场，根据局部视觉频率自适应地分配纹理采样密度，实现非均匀采样。
  3. FACT-GS在保持实时渲染性能的同时，能够恢复更清晰的高频细节，提升了渲染质量。

📝 摘要（中文）

高斯溅射技术在真实场景外观建模方面取得了快速进展，能够实现实时、高质量的渲染。最近的研究引入了基于图元的纹理，将每个高斯内部的空间颜色变化纳入考虑，从而提高了其表达能力。然而，基于纹理的高斯使用统一的、每个高斯的采样网格来参数化外观，而没有考虑局部视觉复杂度来分配采样密度，导致纹理空间利用效率低下。我们提出了FACT-GS，一个频率对齐的复杂度感知纹理高斯溅射框架，它根据局部视觉频率分配纹理采样密度。基于自适应采样理论，FACT-GS将纹理参数化重新定义为一个可微的采样密度分配问题，用一个可学习的、频率感知的分配策略取代了均匀纹理，该策略通过一个雅可比矩阵调节局部采样密度的变形场来实现。FACT-GS建立在2D高斯溅射的基础上，在固定分辨率的纹理网格上执行非均匀采样，在相同的参数预算下，在保持实时性能的同时，恢复更清晰的高频细节。

🔬 方法详解

问题定义：现有基于纹理的高斯溅射方法，在参数化高斯外观时，采用统一的采样网格，即每个高斯内部的纹理采样密度是均匀的。这种方法忽略了场景中不同区域视觉复杂度的差异，导致在视觉复杂度低的区域浪费了采样资源，而在视觉复杂度高的区域采样不足，从而限制了渲染质量的提升。因此，如何根据局部视觉复杂度自适应地分配纹理采样密度，是本文要解决的核心问题。

核心思路：FACT-GS的核心思路是引入一个可学习的变形场，通过该变形场来控制纹理采样密度。具体来说，该变形场将均匀的纹理坐标映射到非均匀的纹理坐标，从而实现非均匀采样。变形场的雅可比矩阵可以用来衡量局部采样密度的变化，通过优化该雅可比矩阵，可以使得采样密度与局部视觉复杂度相匹配。这样，在视觉复杂度高的区域，采样密度会增加，从而能够更好地捕捉高频细节；而在视觉复杂度低的区域，采样密度会降低，从而节省采样资源。

技术框架：FACT-GS建立在2D高斯溅射的基础上，其整体框架可以分为以下几个步骤：1) 初始化高斯参数，包括位置、旋转、缩放、颜色等；2) 使用可学习的变形场对纹理坐标进行变换，得到非均匀的纹理坐标；3) 使用非均匀的纹理坐标对纹理进行采样，得到每个高斯的颜色；4) 使用高斯参数和颜色进行渲染，得到最终的图像；5) 计算渲染图像与真实图像之间的损失，并反向传播更新高斯参数和变形场参数。

关键创新：FACT-GS最重要的技术创新点在于引入了可学习的变形场来实现非均匀纹理采样。与现有方法相比，FACT-GS不再使用均匀的纹理采样网格，而是根据局部视觉复杂度自适应地调整采样密度。这种方法能够更有效地利用纹理空间，从而在相同的参数预算下，恢复更清晰的高频细节。

关键设计：FACT-GS的关键设计包括：1) 使用MLP来参数化变形场，MLP的输入是均匀的纹理坐标，输出是变形后的纹理坐标；2) 使用雅可比矩阵来衡量局部采样密度的变化，并通过优化雅可比矩阵来控制采样密度；3) 使用L1损失和TV损失来约束变形场，防止变形场过于剧烈；4) 使用自适应学习率来优化变形场参数，提高训练效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FACT-GS在多个数据集上进行了实验，结果表明，在相同的参数预算下，FACT-GS能够恢复更清晰的高频细节，显著提高了渲染质量。例如，在某个数据集上，FACT-GS的PSNR指标比基线方法提高了约2dB，同时保持了实时渲染性能。实验结果充分验证了FACT-GS的有效性和优越性。

🎯 应用场景

FACT-GS具有广泛的应用前景，可应用于虚拟现实、增强现实、游戏开发等领域。通过提高渲染质量和效率，FACT-GS能够为用户带来更加逼真和流畅的视觉体验。此外，FACT-GS还可以应用于三维重建、场景编辑等任务，为相关领域的研究和应用提供新的思路和方法。未来，FACT-GS有望成为下一代高斯溅射渲染技术的重要组成部分。

📄 摘要（原文）

Realistic scene appearance modeling has advanced rapidly with Gaussian Splatting, which enables real-time, high-quality rendering. Recent advances introduced per-primitive textures that incorporate spatial color variations within each Gaussian, improving their expressiveness. However, texture-based Gaussians parameterize appearance with a uniform per-Gaussian sampling grid, allocating equal sampling density regardless of local visual complexity, which leads to inefficient texture space utilization. We introduce FACT-GS, a Frequency-Aligned Complexity-aware Texture Gaussian Splatting framework that allocates texture sampling density according to local visual frequency. Grounded in adaptive sampling theory, FACT-GS reformulates texture parameterization as a differentiable sampling-density allocation problem, replacing the uniform textures with a learnable frequency-aware allocation strategy implemented via a deformation field whose Jacobian modulates local sampling density. Built on 2D Gaussian Splatting, FACT-GS performs non-uniform sampling on fixed-resolution texture grids, preserving real-time performance while recovering sharper high-frequency details under the same parameter budget.