BathyFacto: Refraction-Aware Two-Media Neural Radiance Fields for Bathymetry
作者: Markus Brezovsky, Anatol Günthner, Frederik Schulte, Lukas Winiwarter, Boris Jutzi, Gottfried Mandlburger
分类: cs.CV
发布日期: 2026-05-11
备注: 16 pages, 8 figures, 3 tables. Submitted to ISPRS Open Journal of Photogrammetry and Remote Sensing, Special Issue "3D Underwater Mapping from Above and Below"
💡 一句话要点
提出BathyFacto：一种基于折射感知双介质神经辐射场的水下测深方法
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 水下测深 光线折射 多介质建模 摄影测量 三维重建
📋 核心要点
- 现有水下摄影测量依赖直线射线假设，忽略了空气-水界面的折射效应，导致水下深度估计存在显著的系统性偏差。
- BathyFacto通过将射线建模为双介质折射路径，并引入基于斯涅尔定律的几何修正，实现了对水下场景的精确神经辐射场建模。
- 实验结果显示，该方法在模拟场景中将点云到网格的平均距离误差从0.52米降低至0.06米，完整性提升至87%，大幅优于传统方法。
📝 摘要（中文）
基于无人机影像的透水摄影测量技术可用于浅水测深，但空气-水界面的折射现象违反了运动恢复结构（SfM）的直线射线假设，导致系统性的深度偏差。本文提出了BathyFacto，这是Nerfstudio中Nerfacto的一种折射感知双介质扩展，旨在实现高精度的水下点云重建。BathyFacto利用基于哈希网格的共享密度场和介质条件颜色头，将每条相机射线分为空气中的直线段和水中的折射段（基于斯涅尔定律）。为了高效采样，该方法采用单一提案网络在虚拟直线射线上采样，并通过“弯折密度包装器”在评估密度前修正水下段的位置。此外，本文还提供了一套数据适配流水线，支持水面估计、像素级介质掩码生成及折射校正后的点云导出。实验表明，在模拟双介质场景中，BathyFacto的重建精度显著优于Nerfacto基线及传统多视图立体视觉（MVS）方法。
🔬 方法详解
问题定义：论文旨在解决无人机水下摄影测量中因光线穿过空气-水界面发生折射，导致传统SfM算法直线射线假设失效，进而引发深度估计系统性偏差的问题。
核心思路：核心思想是将神经辐射场（NeRF）扩展为双介质模型。通过显式建模空气和水两种介质，利用斯涅尔定律计算折射路径，将射线分为空气直线段和水下折射段，从而在物理上纠正光线传播路径。
技术框架：整体架构基于Nerfacto，包含一个共享的哈希网格密度场和一个介质条件颜色头。系统通过数据适配流水线处理输入，利用提案网络在虚拟直线射线上进行高效采样，并通过弯折密度包装器（Kinked Density Wrapper）将采样点映射回真实的折射路径进行密度评估。
关键创新：最重要的创新在于“弯折密度包装器”，它允许在保持高效采样策略的同时，透明地处理折射带来的几何非线性，无需改变底层的哈希网格结构即可实现对水下空间位置的精确校正。
关键设计：关键设计包括：1. 引入一比特介质标志位（空气或水）作为颜色头的输入；2. 预估水面平面以确定折射界面；3. 扩展点云导出功能，支持折射校正后的反向投影及坐标系转换，确保输出结果的度量精度。
🖼️ 关键图片
📊 实验亮点
在模拟双介质场景的定量评估中，BathyFacto表现卓越。相比于Nerfacto基线（0.52m误差/29%完整性）和传统MVS方法（0.36m误差/21%完整性），BathyFacto实现了0.06m的平均距离误差和87%的完整性，证明了折射感知建模对于提升水下重建精度的决定性作用。
🎯 应用场景
该研究主要应用于浅水环境的测深与水下地形重建，如海岸带监测、水下考古、海洋工程勘测及生态环境评估。通过无人机即可实现高精度的水下三维建模，显著降低了传统水下测绘的成本与复杂性，在海洋科学与地理信息领域具有广阔的应用前景。
📄 摘要（原文）
Through-water photogrammetry based on UAV imagery enables shallow-water bathymetry, but refraction at the air-water interface violates the straight-ray assumption of Structure-from-Motion and causes systematic depth bias. We present BathyFacto, a refraction-aware two-media extension of Nerfacto integrated into Nerfstudio that targets metrically precise underwater point clouds. BathyFacto uses a shared hash-grid-based density field with a medium-conditioned color head that receives a one-bit medium flag (air or water) and traces each camera ray as two segments: a straight segment in air up to a planar water surface and a refracted segment in water computed via Snell's law with known refractive indices. To allocate samples efficiently across the air-water boundary, we employ a single proposal-network sampler that operates on a virtual straight ray spanning both media, combined with a kinked density wrapper that transparently corrects water-segment positions along the refracted direction before density evaluation. A data adaptation pipeline converts photogrammetric reconstructions to a Nerfstudio-compatible format, estimates the water plane from boundary markers, and provides per-pixel medium masks to gate refraction. We also extend the point cloud export with refraction-corrected backprojection and reversible coordinate transforms to world and global frames. On a simulated two-media scene with known ground truth, BathyFacto with refraction achieves a Cloud-to-Mesh mean distance of 0.06 m and 87 % completeness, compared to 0.52 m / 29 % for the Nerfacto baseline and 0.36 m / 21% for conventional MVS without refraction correction.