3D Point Splatting for mmWave Radar Novel View Synthesis

📄 arXiv: 2609.11894v1 📥 PDF

作者: Adnan Armouti, Yixuan Gao, Rajalakshmi Nandakumar

分类: cs.CV, cs.GR, cs.LG, eess.SP

发布日期: 2026-09-10

备注: Under Review

💡 一句话要点

提出3D点溅射技术以解决毫米波雷达新视图合成问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 毫米波雷达 新视图合成 3D点溅射 可微分渲染 复杂值输出 快速傅里叶变换 ITU-R P.2040 自动驾驶

📋 核心要点

  1. 现有毫米波雷达新视图合成方法无法同时实现物理真实、复数值和多视角优化，限制了其应用。
  2. 本文提出的3D点溅射（3DPS）是首个可微分的雷达点渲染器，基于雷达方程的标准立体角形式，能够处理复杂值输出。
  3. 在六个户外ColoRadar场景中，3DPS的性能显著提升，平均Pearson相关性达到0.587，超越了现有光学NVS方法的表现。

📝 摘要（中文）

为了解决毫米波雷达的新视图合成（NVS）问题，本文提出了一种物理真实、复数值且适用于多视角的渲染器。现有方法无法同时满足这三种特性。我们提出的3D点溅射（3DPS）是首个针对雷达的可微分点渲染器，直接基于雷达方程的标准立体角形式。每个定向的3D点携带ITU-R P.2040材料模型，并通过预计算的点扩散函数（PSF）将复杂相位图溅射到距离区间中。该渲染器的复杂值输出使其与产品无关，并且在六个户外ColoRadar场景上，3DPS在保留的RA图像上达到了0.587的平均Pearson相关性，性能显著优于三种光学NVS基线方法。

🔬 方法详解

问题定义：本文旨在解决毫米波雷达的新视图合成（NVS）问题，现有方法在物理真实、复数值和多视角优化方面存在不足，无法满足实际需求。

核心思路：提出3D点溅射（3DPS）技术，作为首个可微分的雷达点渲染器，直接基于雷达方程的标准立体角形式，能够有效处理复杂值输出。

技术框架：3DPS的整体架构包括：首先，定义每个定向3D点的ITU-R P.2040材料模型；其次，通过预计算的点扩散函数（PSF）将复杂相位图溅射到距离区间中；最后，利用快速傅里叶变换（FFT）处理不同格式的输出。

关键创新：3DPS的主要创新在于其能够同时实现物理真实、复数值和多视角优化，解决了现有方法的局限性，提供了更为灵活的渲染能力。

关键设计：在设计中，采用ITU-R P.2040材料模型，利用预计算的PSF进行复杂相位图的溅射，确保输出的复杂值与产品无关，并且在训练过程中仅需约3分钟，显著提高了效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个户外ColoRadar场景中，3DPS达到了0.587的平均Pearson相关性，性能提升幅度为1.7倍至5.2倍，显著优于三种光学NVS基线方法，展示了其在毫米波雷达新视图合成中的卓越表现。

🎯 应用场景

该研究在毫米波雷达成像、自动驾驶、无人机导航等领域具有广泛的应用潜力。通过提高新视图合成的准确性和效率，能够增强雷达系统在复杂环境中的表现，推动相关技术的发展与应用。

📄 摘要（原文）

Solving novel view synthesis (NVS) for millimeter-wave (mmWave) radar requires a renderer that is physically faithful, complex-valued, and multi-viewpoint-tractable. No prior method achieves these three properties simultaneously. Differentiable Monte Carlo (MC) ray tracers implement the radar forward model directly with explicit material modeling and complex outputs, but do not scale to the multi-view optimization NVS demands. Optical-NVS ports of NeRF, hash grids, and 3D Gaussians train fast but discard phase and replace explicit material modeling with opaque learned features, restricting them to power-only range-azimuth (RA) magnitudes. We propose 3D Point Splatting (3DPS), the first differentiable point renderer for radar, derived directly from the standard solid-angle form of the radar equation. Each oriented 3D point carries an ITU-R P.2040 material model, evaluated in closed form, with the resulting complex phasor splatted into range bins through a precomputed point spread function (PSF). The complex-valued output makes the renderer product-agnostic. The same optimized scene yields analog-to-digital converter (ADC), complex range profile (CRP), and RA outputs through standard fast Fourier transform (FFT) pipelines without retraining for each format. On six outdoor ColoRadar scenes, 3DPS reaches 0.587 mean Pearson correlation on held-out RA images. This is between 1.7x and 5.2x the three optical-NVS baselines (RadarSplat, Radar Fields, DART). Training takes approximately 3 minutes per scene on a single RTX 4090.