3D Reconstruction of Shoes for Augmented Reality

📄 arXiv: 2501.18643v2 📥 PDF

作者: Pratik Shrestha, Sujan Kapali, Swikar Gautam, Vishal Pokharel, Santosh Giri

分类: cs.CV, cs.AI, eess.IV

发布日期: 2025-01-29 (更新: 2025-02-17)

💡 一句话要点

提出基于3D高斯溅射的移动端鞋类3D重建与AR展示方案，提升在线购物体验

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯溅射 增强现实 鞋类建模 图像分割

📋 核心要点

  1. 传统电商2D图片展示鞋类产品缺乏立体感，难以满足消费者对产品细节的了解和沉浸式体验的需求。
  2. 利用3D高斯溅射技术，从2D图像高效生成逼真的鞋类3D模型，并结合AR技术实现虚拟试穿和交互。
  3. 实验结果表明，该方法生成的3D模型具有较高的质量（PSNR=32），并且分割模型具有良好的性能（IoU=0.95）。

📝 摘要（中文）

本文提出了一种基于移动端的解决方案，通过3D建模和增强现实（AR）技术来改善在线鞋类购物体验，充分利用了3D高斯溅射的效率。该框架旨在解决静态2D图像的局限性，从2D图像生成逼真的3D鞋类模型，平均峰值信噪比（PSNR）达到32，并通过智能手机实现沉浸式AR交互。此外，还创建了一个包含3120张图像的定制鞋类分割数据集，其中性能最佳的分割模型实现了0.95的交并比（IoU）。本文展示了3D建模和AR在革新在线购物方面的潜力，通过提供逼真的虚拟交互，该方法也适用于更广泛的时尚品类。

🔬 方法详解

问题定义：现有在线鞋类购物体验受限于2D图像展示，无法提供充分的产品细节和沉浸式体验。消费者难以准确判断鞋子的外观、材质和穿着效果。因此，需要一种能够从2D图像重建高质量3D鞋类模型，并支持AR展示的方法。

核心思路：利用3D高斯溅射技术，将鞋子表示为一组带有属性（如位置、颜色、不透明度等）的3D高斯分布。通过优化这些高斯分布的参数，使得渲染出的图像与输入的2D图像尽可能一致，从而实现3D重建。结合AR技术，将重建的3D模型叠加到真实场景中，实现虚拟试穿和交互。

技术框架：该框架主要包含两个阶段：1) 鞋类图像分割：使用深度学习模型对输入的2D鞋类图像进行分割，提取鞋子的轮廓和区域。2) 3D重建与AR展示：利用分割后的鞋子图像，使用3D高斯溅射技术重建3D模型。然后，将重建的3D模型导入AR引擎，实现虚拟试穿和交互。

关键创新：该方法将3D高斯溅射技术应用于鞋类3D重建，相比于传统的基于Mesh或体素的方法，具有更高的渲染效率和更好的视觉效果。此外，该方法还构建了一个定制的鞋类分割数据集，并训练了高性能的分割模型，为3D重建提供了高质量的输入。

关键设计：在3D高斯溅射的优化过程中，使用了图像重建损失和正则化损失，以保证重建模型的质量和泛化能力。图像重建损失衡量渲染图像与输入图像之间的差异，正则化损失用于约束高斯分布的形状和大小，避免过拟合。分割模型采用U-Net结构，并使用交叉熵损失和Dice损失进行训练。

📊 实验亮点

实验结果表明，该方法生成的3D鞋类模型具有较高的视觉质量，平均PSNR达到32。此外，定制鞋类分割数据集上训练的最佳分割模型实现了0.95的IoU，表明该模型能够准确地分割鞋子区域，为后续的3D重建提供高质量的输入。这些结果验证了该方法在鞋类3D重建和AR展示方面的有效性。

🎯 应用场景

该研究成果可应用于电商平台的鞋类产品展示，提升用户在线购物体验，降低退货率。此外，该技术还可扩展到其他时尚品类，如服装、配饰等，为消费者提供更逼真、更便捷的虚拟试穿和购物体验。未来，该技术有望应用于虚拟现实（VR）领域，打造更沉浸式的购物环境。

📄 摘要（原文）

This paper introduces a mobile-based solution that enhances online shoe shopping through 3D modeling and Augmented Reality (AR), leveraging the efficiency of 3D Gaussian Splatting. Addressing the limitations of static 2D images, the framework generates realistic 3D shoe models from 2D images, achieving an average Peak Signal-to-Noise Ratio (PSNR) of 32, and enables immersive AR interactions via smartphones. A custom shoe segmentation dataset of 3120 images was created, with the best-performing segmentation model achieving an Intersection over Union (IoU) score of 0.95. This paper demonstrates the potential of 3D modeling and AR to revolutionize online shopping by offering realistic virtual interactions, with applicability across broader fashion categories.