RouteBridge: Reliability-Routed Bidirectional Distillation Between Neural Radiance Fields and 3D Gaussian Splatting
作者: YuanHang Wang, Xin Cao
分类: cs.CV, cs.AI
发布日期: 2026-09-09
💡 一句话要点
提出RouteBridge以解决NeRF与3DGS间的蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 3D高斯点云 蒸馏训练 计算机视觉 三维重建
📋 核心要点
- 现有的跨表示蒸馏方法通常将一个表示固定为教师，导致局部重建误差的传播，影响整体性能。
- 本文提出RouteBridge，一个双向框架，通过可靠性估计器动态选择教学方向，从而优化NeRF与3DGS之间的知识传递。
- 在实验中，RouteBridge在mip-NeRF 360和DTU数据集上均取得了显著的性能提升，验证了其有效性。
📝 摘要（中文）
神经辐射场（NeRF）和3D高斯点云（3DGS）以互补的归纳偏置编码场景，但现有的跨表示蒸馏通常将一个表示固定为整个场景的教师。全球固定的教师可能会传播局部重建误差。本文提出RouteBridge，一个双向框架，为每条光线选择教学方向。其可靠性估计器结合了光度残差与表示特定的几何证据，从NeRF到3DGS、从3DGS到NeRF进行监督路由，或选择不进行监督。无渲染器依赖的接口在没有共享特征或点对应的情况下传递颜色、不透明度和归一化深度。在mip-NeRF 360上，NeRF和3DGS的导出分别达到28.56和28.77 dB。3DGS导出比3DGS提高1.56 dB，比NeRF-GS提高0.45 dB，同时将LPIPS降低至0.207。在静态三视图DTU上，RouteBridge获得21.12 dB。消融实验表明，自适应路由和几何光线目标均有助于提升。
🔬 方法详解
问题定义：本文旨在解决现有跨表示蒸馏方法中固定教师导致的局部重建误差传播问题，影响了NeRF与3DGS的性能。
核心思路：RouteBridge通过引入一个可靠性估计器，动态选择每条光线的教学方向，从而实现更有效的知识传递，避免了固定教师的局限性。
技术框架：该框架包括一个可靠性估计器和一个无渲染器依赖的接口。可靠性估计器结合光度残差和几何证据，决定从NeRF到3DGS或反向的监督路由。无渲染器依赖的接口则负责在不同表示间传递颜色、不透明度和归一化深度。
关键创新：RouteBridge的创新在于其双向蒸馏机制和自适应路由策略，使得每条光线都能根据具体情况选择最优的教师，显著提升了重建质量。
关键设计：在设计中，采用了光度残差与几何证据的结合来评估可靠性，并通过消融实验验证了自适应路由和几何光线目标对性能提升的贡献。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在mip-NeRF 360数据集上，RouteBridge的3DGS导出性能提高了1.56 dB，达到28.77 dB，相较于NeRF-GS提升了0.45 dB，同时LPIPS降低至0.207。在静态三视图DTU上，RouteBridge获得21.12 dB，验证了其有效性。
🎯 应用场景
该研究在计算机视觉和图形学领域具有广泛的应用潜力，尤其是在虚拟现实、增强现实和三维重建等场景中。通过提升NeRF与3DGS之间的知识传递效率，能够更好地实现高质量的三维场景重建，为相关应用提供更为精确的视觉效果。
📄 摘要（原文）
Neural radiance fields (NeRFs) and 3D Gaussian Splatting (3DGS) encode a scene with complementary inductive biases, but existing cross-representation distillation typically fixes one representation as teacher for the entire scene. A globally fixed teacher can propagate local reconstruction errors. We present RouteBridge, a bidirectional framework that selects the teaching direction for each ray. Its reliability estimator combines photometric residuals with representation-specific geometric evidence and routes supervision from NeRF to 3DGS, from 3DGS to NeRF, or abstains. A renderer-independent interface transfers color, opacity, and normalized depth without shared features or point correspondence. On mip-NeRF 360, the NeRF and 3DGS exports reach 28.56 and 28.77 dB, respectively. The 3DGS export improves over 3DGS by 1.56 dB and over NeRF-GS by 0.45 dB while reducing LPIPS to 0.207. On static three-view DTU, RouteBridge obtains 21.12 dB. Ablations show that both adaptive routing and geometric ray targets contribute to the improvement.