FruitNinja: 3D Object Interior Texture Generation with Gaussian Splatting

📄 arXiv: 2411.12089v3 📥 PDF

作者: Fangyu Wu, Yuhao Chen

分类: cs.CV, cs.GR, cs.HC

发布日期: 2024-11-18 (更新: 2025-07-03)

备注: accepted in CVPR 2025, project page https://fanguw.github.io/FruitNinja3D

💡 一句话要点

FruitNinja：利用高斯溅射生成3D物体内部纹理，实现实时切片与渲染

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D生成 内部纹理 高斯溅射 扩散模型 实时渲染 几何建模 拓扑变化

📋 核心要点

  1. 现有3D生成方法主要关注可见外观，忽略了物体切割后内部纹理的生成，缺乏对几何和拓扑变化物体内部结构建模的能力。
  2. FruitNinja利用3D高斯溅射，结合预训练扩散模型和体素网格平滑，生成具有表面和内部纹理的3D物体，实现实时切片和渲染。
  3. 实验结果表明，FruitNinja在内部纹理生成方面显著优于现有方法，能够在实时渲染中呈现高质量的内部视图。

📝 摘要（中文）

本文提出FruitNinja，一种为经历几何和拓扑变化的3D物体生成内部纹理的首个方法。现实世界中，物体被切割时会显露出内部纹理，但当前3D生成任务对此研究不足。例如，切开虚拟3D西瓜应显示果肉和种子。由于没有可用的数据集捕获物体的完整内部结构，并且收集所有切片的数据是不切实际的，因此生成方法成为必然选择。FruitNinja通过3D高斯溅射(3DGS)生成物体，合成表面和内部纹理，无需额外优化即可实现实时切片和渲染。该方法利用预训练的扩散模型逐步修复横截面视图，并应用基于体素网格的平滑处理，以实现整个物体内连贯的纹理。OpaqueAtom GS策略通过使用密集分布的不透明高斯粒子克服了3DGS的局限性，避免了对较大粒子的偏差，从而稳定了训练，并避免了精细纹理的颜色突变。实验结果表明，FruitNinja显著优于现有方法，在任意几何操作的实时渲染内部视图中展现了无与伦比的视觉质量。

🔬 方法详解

问题定义：现有3D生成和修复方法主要关注物体表面的视觉效果，忽略了物体内部纹理的生成，尤其是在物体经历几何和拓扑变化（如切割）时，无法生成逼真的内部结构。缺乏相应的内部结构数据集，使得有监督学习方法难以应用。现有方法在处理精细纹理时容易出现颜色突变和训练不稳定的问题。

核心思路：FruitNinja的核心思路是利用3D高斯溅射（3DGS）作为3D表示方法，并结合预训练的扩散模型来生成内部纹理。通过在3DGS中引入密集分布的不透明高斯粒子，克服了传统3DGS在处理精细纹理时的局限性。利用预训练的扩散模型，可以有效地对横截面视图进行修复，从而生成逼真的内部纹理。

技术框架：FruitNinja的整体框架包括以下几个主要阶段：1) 初始化3DGS表示；2) 利用预训练的扩散模型对横截面视图进行修复，生成内部纹理；3) 使用基于体素网格的平滑处理，确保内部纹理的连贯性；4) 使用OpaqueAtom GS策略，优化高斯粒子的分布，提高纹理生成的质量。该框架能够生成具有表面和内部纹理的3D物体，并支持实时切片和渲染。

关键创新：FruitNinja的关键创新在于以下几个方面：1) 首次提出针对3D物体内部纹理生成的方法；2) 引入OpaqueAtom GS策略，克服了传统3DGS在处理精细纹理时的局限性；3) 结合预训练的扩散模型和体素网格平滑，提高了内部纹理生成的质量和连贯性。

关键设计：OpaqueAtom GS策略是关键设计之一，它通过使用密集分布的不透明高斯粒子，避免了对较大粒子的偏差，从而稳定了训练，并避免了精细纹理的颜色突变。体素网格平滑处理通过对相邻体素的颜色进行加权平均，确保了内部纹理的连贯性。扩散模型的使用允许从横截面图像中推断出逼真的内部纹理，而无需大量的训练数据。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FruitNinja在内部纹理生成方面显著优于现有方法。实验结果表明，FruitNinja能够在实时渲染中呈现高质量的内部视图，生成的内部纹理逼真且连贯。通过对比实验，证明了OpaqueAtom GS策略和体素网格平滑处理的有效性。具体性能数据未知，但论文强调了视觉质量的显著提升。

🎯 应用场景

FruitNinja在游戏开发、虚拟现实、增强现实等领域具有广泛的应用前景。例如，在游戏中，可以利用FruitNinja生成逼真的可切割物体，增强游戏的互动性和真实感。在虚拟现实和增强现实中，可以用于创建具有逼真内部结构的虚拟物体，提高用户的沉浸感。此外，该技术还可以应用于医学图像处理、工业设计等领域，用于可视化和分析物体的内部结构。

📄 摘要（原文）

In the real world, objects reveal internal textures when sliced or cut, yet this behavior is not well-studied in 3D generation tasks today. For example, slicing a virtual 3D watermelon should reveal flesh and seeds. Given that no available dataset captures an object's full internal structure and collecting data from all slices is impractical, generative methods become the obvious approach. However, current 3D generation and inpainting methods often focus on visible appearance and overlook internal textures. To bridge this gap, we introduce FruitNinja, the first method to generate internal textures for 3D objects undergoing geometric and topological changes. Our approach produces objects via 3D Gaussian Splatting (3DGS) with both surface and interior textures synthesized, enabling real-time slicing and rendering without additional optimization. FruitNinja leverages a pre-trained diffusion model to progressively inpaint cross-sectional views and applies voxel-grid-based smoothing to achieve cohesive textures throughout the object. Our OpaqueAtom GS strategy overcomes 3DGS limitations by employing densely distributed opaque Gaussians, avoiding biases toward larger particles that destabilize training and sharp color transitions for fine-grained textures. Experimental results show that FruitNinja substantially outperforms existing approaches, showcasing unmatched visual quality in real-time rendered internal views across arbitrary geometry manipulations.