NeRF-To-Real Tester: Neural Radiance Fields as Test Image Generators for Vision of Autonomous Systems
作者: Laura Weihl, Bilal Wehbe, Andrzej Wąsowski
分类: cs.CV
发布日期: 2024-12-20 (更新: 2025-05-15)
💡 一句话要点
提出N2R-Tester，利用NeRF生成多样化测试图像，用于提升自主系统视觉组件的鲁棒性。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经辐射场 NeRF 自主系统 视觉测试 变质测试 无人机 水下航行器
📋 核心要点
- 自主系统视觉组件在仿真环境中训练，但实际应用中面临泛化性问题，需要更真实的测试数据。
- N2R-Tester利用NeRF生成逼真的测试图像，并通过扰动相机位姿增加测试数据的多样性。
- 实验表明，N2R-Tester能够有效评估和提升AUV和UAV视觉组件的性能，具有广泛的适用性。
📝 摘要（中文）
水陆基础设施的自主巡检市场正在快速增长，其应用包括建筑测量、植物监测以及陆上和海上风电场的环境变化跟踪。对于自主水下航行器（AUV）和无人机（UAV），控制器过度拟合仿真环境会导致在实际操作环境中性能不佳。因此，迫切需要更多样化和真实的测试数据，以准确反映这些系统面临的挑战。本文利用神经辐射场（NeRF）生成逼真且多样化的测试图像，并将其集成到变质测试框架中，用于vSLAM和目标检测等视觉组件，从而应对自主系统感知测试数据生成方面的挑战。我们的工具N2R-Tester允许训练自定义场景模型，并从扰动位置渲染测试图像。在AUV和UAV的八个不同视觉组件上进行的实验评估证明了该方法的有效性和通用性。
🔬 方法详解
问题定义：现有自主系统（如AUV和UAV）的视觉组件，在仿真环境中训练的模型，难以适应真实世界的复杂环境，导致性能下降。缺乏足够真实和多样化的测试数据是主要瓶颈，传统仿真数据难以覆盖所有可能的情况，而真实数据采集成本高昂。
核心思路：利用神经辐射场（NeRF）强大的场景重建和渲染能力，生成逼真的测试图像。通过对NeRF模型进行训练，可以获得场景的完整表示，并通过改变相机位姿等参数，生成各种视角的图像。这种方法能够提供比传统仿真更真实、比真实数据采集更灵活的测试数据。
技术框架：N2R-Tester包含以下主要模块：1) NeRF模型训练：使用真实或合成数据训练NeRF模型，得到场景的辐射场表示。2) 相机位姿扰动：对相机位姿进行随机或预定义的扰动，模拟不同的视角和运动轨迹。3) 图像渲染：使用训练好的NeRF模型，根据扰动后的相机位姿渲染测试图像。4) 变质测试：将生成的测试图像输入到待测视觉组件（如vSLAM、目标检测），并根据预定义的变质关系进行评估。
关键创新：将NeRF技术应用于自主系统视觉组件的测试数据生成，是一种新颖的思路。与传统的仿真数据生成方法相比，NeRF能够生成更逼真、更具有光照和几何细节的图像。通过相机位姿扰动，可以方便地生成大量多样化的测试数据，有效提高测试覆盖率。
关键设计：N2R-Tester的关键设计包括：1) NeRF模型的选择：可以选择不同的NeRF变体，如原始NeRF、Mip-NeRF等，以适应不同的场景复杂度和渲染质量要求。2) 相机位姿扰动策略：可以采用随机扰动、基于运动模型的扰动等策略，以生成不同类型的测试数据。3) 变质关系的定义：需要根据待测视觉组件的特性，定义合适的变质关系，用于评估测试结果。
🖼️ 关键图片
📊 实验亮点
在AUV和UAV的八个不同视觉组件上进行了实验评估，结果表明N2R-Tester能够有效评估和提升这些组件的性能。例如，在vSLAM任务中，使用N2R-Tester生成的测试数据可以显著提高算法的鲁棒性和精度。此外，N2R-Tester还能够发现传统仿真数据难以发现的潜在问题。
🎯 应用场景
N2R-Tester可广泛应用于自主水下航行器（AUV）、无人机（UAV）、自动驾驶汽车等自主系统的视觉组件测试。通过生成逼真的测试数据，可以有效评估和提升这些系统在复杂环境中的感知能力，提高其安全性和可靠性。该工具还有助于加速自主系统的开发和部署，降低测试成本。
📄 摘要（原文）
Autonomous inspection of infrastructure on land and in water is a quickly growing market, with applications including surveying constructions, monitoring plants, and tracking environmental changes in on- and off-shore wind energy farms. For Autonomous Underwater Vehicles and Unmanned Aerial Vehicles overfitting of controllers to simulation conditions fundamentally leads to poor performance in the operation environment. There is a pressing need for more diverse and realistic test data that accurately represents the challenges faced by these systems. We address the challenge of generating perception test data for autonomous systems by leveraging Neural Radiance Fields to generate realistic and diverse test images, and integrating them into a metamorphic testing framework for vision components such as vSLAM and object detection. Our tool, N2R-Tester, allows training models of custom scenes and rendering test images from perturbed positions. An experimental evaluation of N2R-Tester on eight different vision components in AUVs and UAVs demonstrates the efficacy and versatility of the approach.