Color-Encoded Illumination for High-Speed Volumetric Scene Reconstruction
作者: David Novikov, Eilon Vaknin, Narek Tumanyan, Mark Sheinin
分类: cs.CV
发布日期: 2026-04-29
备注: accepted to IEEE CVPR 2026 as a highlight
💡 一句话要点
提出基于颜色编码照明的高速体三维重建方法，无需改造相机硬件。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 高速三维重建 颜色编码照明 动态高斯溅射 多视角成像 计算成像
📋 核心要点
- 传统相机带宽限制了动态三维重建，现有高速成像方法依赖硬件改造或机械部件，限制了多视角三维重建。
- 该方法通过颜色编码照明对高速场景动态进行编码，利用低速相机实现多视角同步捕获，将时间信息嵌入空间颜色变化。
- 通过动态高斯溅射方法解码图像中的时间信息，构建高速体三维表示，并在模拟和真实场景中验证了有效性。
📝 摘要（中文）
近年来，从二维图像捕获和渲染三维动态场景的任务日益普及。然而，大多数传统相机的带宽限制在30-60 FPS，这限制了这些方法只能应用于静态或缓慢演变的场景。虽然克服带宽限制对于一般场景来说很困难，但近年来涌现出许多计算成像方法，这些方法使用传统相机为特定应用（例如，运动捕捉和粒子图像测速）生成高速视频。然而，这些方法大多需要修改相机的光学器件或添加机械移动部件，从而将它们限制为单视角高速捕获。因此，这些方法不能容易地用于捕获快速场景运动的三维表示。在本文中，我们提出了一种新颖的方法，仅使用未增强的低速相机来捕获和重建高速场景的体三维表示。我们没有修改每个相机的硬件或光学器件，而是通过用快速、顺序的颜色编码序列照亮场景来编码高速场景动态。这导致同时进行场景的多视角捕获，其中高速时间信息被编码在捕获图像的空间强度和颜色变化中。为了构建动态场景的高速体三维表示，我们开发了一种基于动态高斯溅射的新方法，该方法从图像中解码时间信息。我们在模拟场景和使用多相机成像装置的真实实验中评估了我们的方法，展示了首个高速体三维场景重建。
🔬 方法详解
问题定义：现有动态三维重建方法受限于传统相机的帧率，无法捕捉高速运动。虽然一些计算成像方法可以实现高速视频，但它们通常需要修改相机硬件或添加机械部件，这限制了它们的应用范围，尤其是在多视角三维重建中。因此，如何利用普通相机实现高速动态场景的三维重建是一个关键问题。
核心思路：该论文的核心思路是通过颜色编码照明来将高速时间信息编码到低速相机的空间图像中。具体来说，使用快速变化的颜色序列照射场景，使得不同时刻的光照信息被编码到不同像素的颜色值中。这样，即使相机帧率较低，也能通过分析图像的颜色变化来推断场景的动态信息。这种方法避免了对相机硬件的修改，使其更具通用性。
技术框架：该方法主要包含两个阶段：颜色编码照明和动态高斯溅射重建。首先，使用多台低速相机同步捕获被颜色编码照明照射的场景图像。然后，利用一种基于动态高斯溅射的方法，从捕获的图像中解码时间信息，并构建动态场景的体三维表示。该方法利用多视角图像的空间颜色变化来推断时间信息，从而实现高速动态场景的重建。
关键创新：该方法最重要的创新点在于使用颜色编码照明来编码高速场景动态。与传统的依赖高速相机或硬件修改的方法不同，该方法通过改变照明方式，将时间信息嵌入到空间信息中，从而利用普通相机实现高速动态场景的重建。此外，动态高斯溅射方法能够有效地从颜色编码的图像中提取时间信息，并构建高质量的体三维表示。
关键设计：颜色编码序列的设计至关重要，需要保证颜色变化足够快，且不同颜色之间具有良好的区分度。动态高斯溅射方法需要根据颜色编码的特点进行优化，例如，可以设计特定的损失函数来鼓励颜色信息与时间信息的对应关系。此外，多视角相机的标定和同步也是关键步骤，需要保证图像之间的精确对应关系。
🖼️ 关键图片
📊 实验亮点
该论文在模拟和真实场景中验证了所提出方法的有效性。实验结果表明，该方法能够利用低速相机重建高速动态场景的体三维表示。与传统方法相比，该方法无需修改相机硬件，具有更高的灵活性和通用性。该研究为高速动态场景的三维重建提供了一种新的思路。
🎯 应用场景
该研究成果可应用于高速运动捕捉、工业检测、虚拟现实、增强现实等领域。例如，在运动捕捉中，可以捕捉运动员的快速动作，并生成高质量的三维动画。在工业检测中，可以检测高速运动的部件，并及时发现缺陷。在虚拟现实和增强现实中，可以创建更逼真的动态场景，提升用户体验。该技术具有广泛的应用前景和潜在的商业价值。
📄 摘要（原文）
The task of capturing and rendering 3D dynamic scenes from 2D images has become increasingly popular in recent years. However, most conventional cameras are bandwidth-limited to 30-60 FPS, restricting these methods to static or slowly evolving scenes. While overcoming bandwidth limitations is difficult for general scenes, recent years have seen a flurry of computational imaging methods that yield high-speed videos using conventional cameras for specific applications (e.g., motion capture and particle image velocimetry). However, most of these methods require modifications to a camera's optics or the addition of mechanically moving components, limiting them to a single-view high-speed capture. Consequently, these methods cannot be readily used to capture a 3D representation of rapid scene motion. In this paper, we propose a novel method to capture and reconstruct a volumetric representation of a high-speed scene using only unaugmented low-speed cameras. Instead of modifying the hardware or optics of each individual camera, we encode high-speed scene dynamics by illuminating the scene with a rapid, sequential color-coded sequence. This results in simultaneous multi-view capture of the scene, where high-speed temporal information is encoded in the spatial intensity and color variations of the captured images. To construct a high-speed volumetric representation of the dynamic scene, we develop a novel dynamic Gaussian Splatting-based approach that decodes the temporal information from the images. We evaluate our approach on simulated scenes and real-world experiments using a multi-camera imaging setup, showing first-of-a-kind high-speed volumetric scene reconstructions.