Bezier Splatting for Fast and Differentiable Vector Graphics Rendering

📄 arXiv: 2503.16424v4 📥 PDF

作者: Xi Liu, Chaoyi Zhou, Nanxuan Zhao, Siyu Huang

分类: cs.GR, cs.CV

发布日期: 2025-03-20 (更新: 2025-12-09)

备注: NeurIPS 2025. Project page: https://xiliu8006.github.io/Bezier_splatting_project/

💡 一句话要点

提出Bezier Splatting，加速可微矢量图形渲染并提升质量

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 可微渲染 矢量图形 Bézier曲线 光栅化 图像矢量化

📋 核心要点

  1. 现有可微矢量图形优化成本高昂，难以在高分辨率图像上实现高质量渲染。
  2. Bézier Splatting通过沿Bézier曲线采样2D高斯分布，实现快速且高质量的光栅化，并提供对象边界的位置梯度。
  3. 实验表明，Bézier Splatting在速度和质量上均优于现有方法，并支持转换为SVG格式。

📝 摘要（中文）

本文提出了一种新的可微矢量图形(VG)表示方法，称为Bézier Splatting，它能够实现快速且高质量的VG光栅化。Bézier Splatting沿Bézier曲线采样2D高斯分布，从而自然地提供对象边界的位置梯度。得益于高效的基于splatting的可微光栅化器，对于开放曲线，Bézier Splatting的前向和后向光栅化步骤比DiffVG快30倍和150倍。此外，我们还引入了一种自适应的剪枝和稠密化策略，可以动态调整曲线的空间分布以逃避局部最小值，从而进一步提高VG质量。此外，我们新的VG表示支持转换为标准的基于XML的SVG格式，从而增强了与现有VG工具和流程的互操作性。实验结果表明，Bézier Splatting显著优于现有方法，具有更好的视觉保真度和显著的优化加速。

🔬 方法详解

问题定义：现有可微矢量图形渲染方法在优化效率和渲染质量上存在瓶颈，尤其是在处理高分辨率图像时，优化成本过高，难以达到理想的视觉效果。此外，与现有矢量图形工具和流程的互操作性也存在问题。

核心思路：Bézier Splatting的核心思想是利用Bézier曲线的特性，通过在其上采样2D高斯分布（splatting），来近似表示矢量图形。这种方法能够自然地提供对象边界的位置梯度，从而加速优化过程，并提高渲染质量。同时，通过自适应的剪枝和稠密化策略，动态调整曲线分布，避免陷入局部最优。

技术框架：Bézier Splatting主要包含以下几个阶段：1) Bézier曲线参数化：将矢量图形表示为一系列Bézier曲线。2) 高斯splatting：沿每条Bézier曲线采样2D高斯分布，每个高斯分布的参数（如均值、方差）与曲线的局部几何属性相关。3) 可微光栅化：将采样的高斯分布进行光栅化，生成最终的图像。4) 自适应优化：根据渲染结果，动态调整Bézier曲线的参数和分布，包括剪枝冗余曲线和稠密化关键区域。

关键创新：最重要的技术创新点在于使用Bézier曲线上的高斯splatting来表示矢量图形。与传统的基于三角形或轮廓线的表示方法相比，这种方法能够更自然地提供位置梯度，从而加速优化过程。此外，自适应的剪枝和稠密化策略能够有效地提高渲染质量。

关键设计：关键设计包括：1) 高斯分布的参数化方式，如何将高斯分布的均值和方差与Bézier曲线的几何属性关联。2) 可微光栅化器的设计，如何保证光栅化过程的可微性，以便进行反向传播。3) 自适应剪枝和稠密化策略的具体实现，包括剪枝和稠密化的判断标准和操作方式。4) 损失函数的设计，如何衡量渲染结果与目标图像之间的差异，并指导优化过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Bézier Splatting在渲染速度和质量上均优于现有方法。对于开放曲线，其前向和后向光栅化速度分别比DiffVG快30倍和150倍。同时，在视觉保真度方面，Bézier Splatting也取得了显著提升。此外，该方法支持转换为标准的SVG格式，增强了与现有工具的兼容性。

🎯 应用场景

Bézier Splatting可应用于图像矢量化、矢量图形编辑、动画制作等领域。其快速且高质量的渲染能力，使其在需要实时渲染矢量图形的应用中具有优势。此外，其可微性使其能够与其他深度学习模型结合，实现端到端的矢量图形处理。

📄 摘要（原文）

Differentiable vector graphics (VGs) are widely used in image vectorization and vector synthesis, while existing representations are costly to optimize and struggle to achieve high-quality rendering results for high-resolution images. This work introduces a new differentiable VG representation, dubbed Bézier Splatting, that enables fast yet high-fidelity VG rasterization. Bézier Splatting samples 2D Gaussians along Bézier curves, which naturally provide positional gradients at object boundaries. Thanks to the efficient splatting-based differentiable rasterizer, Bézier Splatting achieves 30x and 150x faster per forward and backward rasterization step for open curves compared to DiffVG. Additionally, we introduce an adaptive pruning and densification strategy that dynamically adjusts the spatial distribution of curves to escape local minima, further improving VG quality. Furthermore, our new VG representation supports conversion to standard XML-based SVG format, enhancing interoperability with existing VG tools and pipelines. Experimental results show that Bézier Splatting significantly outperforms existing methods with better visual fidelity and significant optimization speedup.