Fast3Dcache: Training-free 3D Geometry Synthesis Acceleration

📄 arXiv: 2511.22533v1 📥 PDF

作者: Mengyu Yang, Yanming Yang, Chenyi Xu, Chenxi Song, Yufan Zuo, Tong Zhao, Ruibo Li, Chi Zhang

分类: cs.CV

发布日期: 2025-11-27

💡 一句话要点

Fast3Dcache：一种无训练的几何感知缓存框架，加速3D几何体合成。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D几何体生成 扩散模型加速 缓存技术 几何感知 无训练方法

📋 核心要点

  1. 3D扩散模型推理计算成本高昂，直接应用现有缓存加速方法会导致几何结构不一致，产生伪影。
  2. Fast3Dcache提出一种无需训练的几何感知缓存框架，通过预测缓存调度约束和时空稳定性准则，选择稳定特征进行重用。
  3. 实验表明，Fast3Dcache在加速推理的同时，能够有效保持几何保真度，显著降低计算量。

📝 摘要（中文）

扩散模型在2D图像、视频和3D形状等多种模态中取得了令人印象深刻的生成质量，但由于迭代去噪过程，其推理过程在计算上仍然非常昂贵。虽然最近基于缓存的方法有效地重用冗余计算来加速2D和视频生成，但直接将这些技术应用于3D扩散模型可能会严重破坏几何一致性。在3D合成中，即使缓存潜在特征中的微小数值误差也会累积，导致结构伪影和拓扑不一致。为了克服这个限制，我们提出Fast3Dcache，一个无需训练的几何感知缓存框架，它在加速3D扩散推理的同时保持了几何保真度。我们的方法引入了预测缓存调度约束（PCSC）来根据体素稳定模式动态确定缓存配额，并引入时空稳定性准则（SSC）来基于速度幅度和加速度准则选择稳定的特征以供重用。综合实验表明，Fast3Dcache显著加速了推理，实现了高达27.12%的加速和54.8%的FLOPs减少，同时几何质量的下降最小，Chamfer距离为2.48%，F-Score为1.95%。

🔬 方法详解

问题定义：论文旨在解决3D扩散模型推理速度慢的问题，同时避免直接应用现有缓存方法导致的几何结构不一致性。现有缓存方法在2D和视频生成中表现良好，但直接应用于3D扩散模型时，即使微小的数值误差也会累积，导致严重的结构伪影和拓扑错误，影响生成质量。

核心思路：论文的核心思路是设计一种几何感知的缓存框架，该框架能够识别并重用在时空上稳定的特征，从而在加速推理的同时，最大限度地减少几何结构错误的累积。通过预测体素的稳定程度，动态调整缓存配额，并根据速度和加速度等指标选择稳定的特征进行缓存和重用。

技术框架：Fast3Dcache框架主要包含两个关键模块：预测缓存调度约束（PCSC）和时空稳定性准则（SSC）。PCSC根据体素的稳定模式动态确定缓存配额，确保只有稳定的体素才会被缓存。SSC则基于速度幅度和加速度准则选择稳定的特征进行重用，避免引入不稳定的特征导致几何错误。整体流程是在扩散模型的迭代过程中，利用PCSC和SSC动态地选择和重用缓存的特征，从而加速推理过程。

关键创新：该方法最重要的创新点在于其几何感知的缓存策略，它不同于传统的缓存方法，后者通常只关注计算的冗余性，而忽略了3D几何结构的特殊性。Fast3Dcache通过PCSC和SSC，能够有效地识别和重用稳定的特征，从而在加速推理的同时，保持了几何结构的保真度。这种几何感知的缓存策略是该方法与现有方法的本质区别。

关键设计：PCSC通过分析体素在扩散过程中的变化情况，预测其稳定程度，并根据稳定程度动态调整缓存配额。SSC则利用速度幅度和加速度作为指标，评估特征的时空稳定性。具体而言，速度幅度反映了特征的变化速度，加速度反映了特征变化速度的变化率。只有当速度幅度较小且加速度也较小时，特征才被认为是稳定的，并被选择进行缓存和重用。论文中没有明确提及具体的损失函数或网络结构，因为该方法是无训练的，主要依赖于对扩散过程的分析和对几何稳定性的评估。

📊 实验亮点

实验结果表明，Fast3Dcache能够显著加速3D扩散模型的推理过程，实现了高达27.12%的加速和54.8%的FLOPs减少。同时，该方法对几何质量的影响非常小，Chamfer距离仅下降2.48%，F-Score仅下降1.95%。这些结果表明，Fast3Dcache能够在加速推理的同时，有效地保持几何结构的保真度，优于直接应用传统缓存方法。

🎯 应用场景

Fast3Dcache可应用于各种需要快速生成3D几何体的场景，例如游戏开发、虚拟现实、计算机辅助设计（CAD）和3D打印等。该方法能够显著加速3D内容的生成速度，降低计算成本，并提高用户体验。未来，该技术有望推动3D内容创作的普及，并促进相关产业的发展。

📄 摘要（原文）

Diffusion models have achieved impressive generative quality across modalities like 2D images, videos, and 3D shapes, but their inference remains computationally expensive due to the iterative denoising process. While recent caching-based methods effectively reuse redundant computations to speed up 2D and video generation, directly applying these techniques to 3D diffusion models can severely disrupt geometric consistency. In 3D synthesis, even minor numerical errors in cached latent features accumulate, causing structural artifacts and topological inconsistencies. To overcome this limitation, we propose Fast3Dcache, a training-free geometry-aware caching framework that accelerates 3D diffusion inference while preserving geometric fidelity. Our method introduces a Predictive Caching Scheduler Constraint (PCSC) to dynamically determine cache quotas according to voxel stabilization patterns and a Spatiotemporal Stability Criterion (SSC) to select stable features for reuse based on velocity magnitude and acceleration criterion. Comprehensive experiments show that Fast3Dcache accelerates inference significantly, achieving up to a 27.12% speed-up and a 54.8% reduction in FLOPs, with minimal degradation in geometric quality as measured by Chamfer Distance (2.48%) and F-Score (1.95%).