From Gallery to Wrist: Realistic 3D Bracelet Insertion in Videos
作者: Chenjian Gao, Lihe Ding, Rui Han, Zhanpeng Huang, Zibin Wang, Tianfan Xue
分类: cs.CV
发布日期: 2025-07-27 (更新: 2025-07-29)
备注: 12 pages
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出基于3DGS与扩散模型的混合框架，实现视频中逼真的3D手镯插入
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D物体插入 视频编辑 3D高斯溅射 扩散模型 增强现实
📋 核心要点
- 现有方法在动态场景中插入3D物体时，难以兼顾时间一致性和光照真实性，尤其是在物体运动复杂、视角变化和光照变化的情况下。
- 该论文提出一种混合框架，利用3D高斯溅射（3DGS）保证时间一致性，并使用2D扩散模型增强光照真实性，实现逼真的3D物体插入。
- 实验结果表明，该方法能够生成具有时间一致性和光照真实性的3D手镯插入视频，优于现有的3D渲染和2D扩散方法。
📝 摘要（中文）
本文提出了一种混合对象插入流程，旨在将3D物体插入视频中，解决增强现实、虚拟试穿和视频合成等领域长期存在的挑战。该方法结合了3D高斯溅射（3DGS）的时间一致性和2D扩散模型的光照真实性。具体而言，针对动态手腕场景中的手镯插入，利用3DGS的高时间一致性进行初始渲染，然后使用基于2D扩散的增强模型来优化结果，确保真实的光照交互。该方法引入了着色驱动的流程，分离了物体的固有属性（反照率、着色、反射率），并细化着色和sRGB图像以实现照片级真实感。为了保持时间连贯性，使用多帧加权调整优化3DGS模型。这是首个将3D渲染和2D扩散相结合用于视频对象插入的方法，为实现逼真且一致的视频编辑提供了一个强大的解决方案。
🔬 方法详解
问题定义：现有的3D物体插入视频方法，要么依赖于传统的3D渲染，虽然能保证时间一致性，但在光照真实性方面表现不足；要么依赖于2D扩散模型，虽然能生成逼真的图像，但难以维持时间上的连贯性。因此，如何在动态场景中实现既具有时间一致性又具有光照真实性的3D物体插入是一个挑战。
核心思路：该论文的核心思路是结合3D渲染和2D扩散的优势，利用3D高斯溅射（3DGS）保证时间一致性，并使用2D扩散模型增强光照真实性。通过这种混合方法，可以克服单一方法的局限性，实现更逼真的3D物体插入效果。
技术框架：该方法主要包含两个阶段：首先，使用3DGS进行初始渲染，生成具有时间一致性的3D手镯图像序列。然后，使用基于2D扩散的增强模型对每一帧图像进行优化，以提高光照真实性。为了进一步提高时间一致性，在优化3DGS模型时，采用了多帧加权调整策略。整个流程是着色驱动的，将物体的固有属性（反照率、着色、反射率）分离，并分别进行优化。
关键创新：该方法最重要的创新点在于将3D渲染和2D扩散相结合，用于视频中的3D物体插入。这是首次尝试将这两种技术融合，并取得了良好的效果。此外，该方法还提出了着色驱动的流程，以及多帧加权调整策略，进一步提高了插入效果的真实性和一致性。
关键设计：在3DGS优化阶段，使用了多帧加权调整策略，即在优化当前帧的3DGS模型时，同时考虑相邻帧的信息，并根据时间距离赋予不同的权重。这样可以有效地减少时间上的抖动，提高时间一致性。在2D扩散增强阶段，使用了预训练的扩散模型，并针对手镯插入任务进行了微调。损失函数包括L1损失、感知损失和对抗损失，以保证生成图像的质量和真实性。
🖼️ 关键图片
📊 实验亮点
该方法在动态手腕场景中实现了逼真的3D手镯插入，在时间一致性和光照真实性方面均优于现有方法。通过与仅使用3DGS或仅使用2D扩散的方法进行对比，证明了该混合框架的有效性。实验结果表明，该方法能够生成具有高度真实感和时间一致性的3D手镯插入视频。
🎯 应用场景
该研究成果可广泛应用于增强现实、虚拟试穿、视频合成等领域。例如，用户可以在观看视频时，虚拟试戴各种款式的3D手镯，从而获得更直观的购物体验。此外，该技术还可以用于电影特效制作，将3D物体无缝地插入到真实场景中，创造出更逼真的视觉效果。未来，该技术有望进一步扩展到其他3D物体的插入，例如衣服、眼镜等。
📄 摘要（原文）
Inserting 3D objects into videos is a longstanding challenge in computer graphics with applications in augmented reality, virtual try-on, and video composition. Achieving both temporal consistency, or realistic lighting remains difficult, particularly in dynamic scenarios with complex object motion, perspective changes, and varying illumination. While 2D diffusion models have shown promise for producing photorealistic edits, they often struggle with maintaining temporal coherence across frames. Conversely, traditional 3D rendering methods excel in spatial and temporal consistency but fall short in achieving photorealistic lighting. In this work, we propose a hybrid object insertion pipeline that combines the strengths of both paradigms. Specifically, we focus on inserting bracelets into dynamic wrist scenes, leveraging the high temporal consistency of 3D Gaussian Splatting (3DGS) for initial rendering and refining the results using a 2D diffusion-based enhancement model to ensure realistic lighting interactions. Our method introduces a shading-driven pipeline that separates intrinsic object properties (albedo, shading, reflectance) and refines both shading and sRGB images for photorealism. To maintain temporal coherence, we optimize the 3DGS model with multi-frame weighted adjustments. This is the first approach to synergize 3D rendering and 2D diffusion for video object insertion, offering a robust solution for realistic and consistent video editing. Project Page: https://cjeen.github.io/BraceletPaper/