Differentiable Ray Tracing with Gaussians for Unified Radio Propagation Simulation and View Synthesis
作者: Niklas Vaara, Lam Huynh, Pekka Sangi, Miguel Bordallo López, Janne Heikkilä
分类: cs.CV
发布日期: 2026-05-08
💡 一句话要点
提出基于高斯溅射的可微射线追踪框架，实现射频传播模拟与视觉合成的统一表示。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)
关键词: 3D高斯溅射 射频传播模拟 可微射线追踪 数字孪生 神经场景表示 跨模态融合
📋 核心要点
- 现有3DGS侧重于视觉外观优化，缺乏射频模拟所需的确定性几何结构，导致无法直接用于电磁波传播分析。
- 提出将高斯基元嵌入硬件加速射线追踪结构，构建统一的神经场景表示，支持视觉渲染与物理射频传播模拟。
- 实验表明该方法能从视觉重建中提取物理信道脉冲响应，实现了跨模态任务在单一神经表示下的高效统一。
📝 摘要（中文）
显式神经表示（如3D高斯溅射，3DGS）虽能实现高保真、实时的视角合成，但其优化目标是基于Alpha合成的光学外观，而非可进行射线求交的几何结构。相比之下，射频（RF）数字孪生需要确定性的多跳路径，其中几何形状决定了信号轨迹及其相关的衰减和延迟。本文引入了一个框架，能够在视觉重建的神经场景中直接进行可微射频传播模拟，在保留高质量视觉渲染的同时，实现任意三维位置间的点对点路径计算。与依赖手动构建网格的传统射频模拟流水线不同，该方法将高斯基元嵌入硬件加速的射线追踪结构中作为底层空间表示。通过从纯视觉重建中提取具有物理意义的信道脉冲响应，证明了神经重建可以作为电磁传播模拟与照片级真实感视角合成的统一空间表示。
🔬 方法详解
问题定义：现有神经辐射场或高斯溅射方法主要优化视觉渲染效果，其几何表示往往是隐式或非物理的，无法直接应用于需要精确几何求交的射频传播模拟（如多跳反射、衍射计算）。
核心思路：利用高斯基元（Gaussians）作为空间几何的代理，将其映射到硬件加速的射线追踪结构中。通过这种方式，将视觉重建的场景转化为可进行物理射线求交的几何模型，从而实现视觉与电磁传播模拟的统一。
技术框架：系统包含视觉重建模块（基于3DGS）和射频模拟模块。首先通过多视角图像优化高斯参数，随后将高斯椭球体转化为射线追踪引擎可识别的几何图元，最后利用射线追踪算法计算电磁波在场景中的传播路径及信道特性。
关键创新：首次将高斯溅射表示直接接入硬件加速射线追踪管线，打破了视觉渲染与电磁模拟之间的壁垒，无需手动构建复杂的CAD网格模型即可进行高精度RF仿真。
关键设计：采用了可微的射线追踪策略，将高斯基元的空间分布与射频传播的衰减、延迟模型耦合。通过对高斯参数的约束，确保其在视觉上保持高保真度的同时，在几何上具备足够的物理一致性以支持射线求交。
🖼️ 关键图片
📊 实验亮点
实验验证了该框架在复杂场景下提取信道脉冲响应的有效性。对比传统基于网格的仿真，该方法在保持视觉渲染质量的同时，能够准确捕捉多跳路径的物理特性。研究证明了神经表示在跨模态任务中的鲁棒性，为实现实时、高精度的电磁环境数字孪生提供了新路径。
🎯 应用场景
该研究在智能城市规划、室内无线网络覆盖优化、自动驾驶车辆的V2X通信仿真以及增强现实（AR）中的电磁环境感知领域具有重要价值。它能够利用低成本的视觉数据快速构建高精度数字孪生，显著降低射频环境部署与测试的成本。
📄 摘要（原文）
Explicit neural representations such as 3D Gaussian Splatting (3DGS) enable high-fidelity and real-time novel view synthesis, yet optimize for alpha-composited optical appearance rather than ray-intersectable geometry. In contrast, radio-frequency (RF) digital twins require deterministic multi-bounce paths, where the geometry dictates trajectories and their associated attenuation and delay. We introduce a framework enabling differentiable RF propagation simulation directly within visually reconstructed neural scenes, allowing point-to-point path computation between arbitrary 3D locations while preserving high-quality visual rendering. Unlike conventional RF simulation pipelines that rely on manually constructed meshes, we embed Gaussian primitives into a hardware-accelerated ray tracing structure as the underlying spatial representation. By extracting physically meaningful channel impulse responses from visual-only reconstructions, we provide cross-modal evidence that neural reconstructions can serve as unified spatial representations for both electromagnetic propagation simulation and photorealistic view synthesis.