AgriNeRF: Neural Radiance Fields for Agriculture in Challenging Lighting Conditions

📄 arXiv: 2409.15487v1 📥 PDF

作者: Samarth Chopra, Fernando Cladera, Varun Murali, Vijay Kumar

分类: cs.RO

发布日期: 2024-09-23

备注: 7 pages, 5 figures

💡 一句话要点

AgriNeRF：针对农业恶劣光照条件下的神经辐射场重建与果实检测

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 多模态融合 农业场景 果实检测 恶劣光照 事件相机 热像仪

📋 核心要点

  1. 传统NeRF在农业场景中面临光照变化的挑战，导致重建质量下降，影响下游任务如果实检测。
  2. AgriNeRF融合RGB、事件和热像仪数据，构建多模态NeRF，提升在恶劣光照下的重建鲁棒性。
  3. 实验表明，AgriNeRF显著提升了重建质量（PSNR/SSIM）和果实检测精度（mAP），验证了其有效性。

📝 摘要（中文）

神经辐射场（NeRFs）在3D场景重建和新视角合成方面展现出巨大潜力。在农业环境中，NeRFs可以作为数字孪生，为产量估计提供关键的果实检测信息以及对农民重要的其他指标。然而，传统的NeRFs在诸如弱光、强光和变化光照等具有挑战性的光照条件下并不鲁棒。为了解决这些问题，本研究利用了三种不同的传感器：RGB相机、事件相机和热像仪。我们的RGB场景重建在PSNR和SSIM方面分别提高了+2.06 dB和+8.3%。我们的跨光谱场景重建将下游果实检测的mAP50提高了+43.0%，mAP50-95提高了+61.1%。集成额外的传感器可以产生更鲁棒和信息更丰富的NeRF。我们证明了我们的多模态系统可以在不同的树冠覆盖下和一天中的不同时间产生高质量的照片级真实感重建。这项工作最终开发出一种有弹性的NeRF，能够在可见的退化场景中表现良好，以及一种用于自动果实检测的学习到的跨光谱表示。

🔬 方法详解

问题定义：在农业场景中，光照条件复杂多变（如弱光、强光、阴影遮挡），传统NeRF方法难以有效重建场景，导致重建质量下降，进而影响基于重建结果的果实检测等下游任务。现有方法难以充分利用不同模态传感器提供的互补信息，在恶劣光照下表现不佳。

核心思路：论文的核心思路是利用多模态传感器（RGB相机、事件相机、热像仪）获取场景的不同信息，通过融合这些信息来提升NeRF在恶劣光照条件下的重建能力。事件相机对光照变化敏感，热像仪提供温度信息，这些信息可以补充RGB图像的不足，从而提高NeRF的鲁棒性。

技术框架：AgriNeRF的整体框架包含以下几个主要模块：1) 多模态数据采集：使用RGB相机、事件相机和热像仪同步采集场景数据。2) 数据预处理：对不同模态的数据进行校准和同步。3) 多模态NeRF构建：将多模态数据输入到NeRF网络中进行训练，学习场景的几何和外观表示。4) 果实检测：利用重建的NeRF进行果实检测。

关键创新：论文的关键创新在于将多模态传感器数据融合到NeRF框架中，从而提升了NeRF在恶劣光照条件下的重建能力。通过学习跨光谱表示，实现了更准确的果实检测。这种多模态融合的方法能够有效利用不同传感器的互补信息，克服了传统NeRF在光照变化下的局限性。

关键设计：论文的具体技术细节包括：1) 使用特定的网络结构来融合不同模态的数据，例如使用注意力机制来学习不同模态数据的权重。2) 设计特定的损失函数来约束NeRF的训练，例如使用光度一致性损失和深度一致性损失。3) 针对事件相机数据，设计专门的表示方法，例如将事件数据转换为体素网格或事件图像。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AgriNeRF在RGB场景重建中，PSNR提升了2.06 dB，SSIM提升了8.3%。在跨光谱场景重建中，果实检测的mAP50提升了43.0%，mAP50-95提升了61.1%。这些结果表明，AgriNeRF在恶劣光照条件下能够显著提升重建质量和果实检测精度，优于传统NeRF方法。

🎯 应用场景

AgriNeRF在智慧农业领域具有广泛的应用前景，可用于果园管理、产量预测、病虫害监测等。通过构建高精度的农作物三维模型，农民可以更准确地了解作物生长状况，从而制定更合理的管理策略。此外，该技术还可以应用于农业机器人导航、精准喷洒农药等方面，提高农业生产效率。

📄 摘要（原文）

Neural Radiance Fields (NeRFs) have shown significant promise in 3D scene reconstruction and novel view synthesis. In agricultural settings, NeRFs can serve as digital twins, providing critical information about fruit detection for yield estimation and other important metrics for farmers. However, traditional NeRFs are not robust to challenging lighting conditions, such as low-light, extreme bright light and varying lighting. To address these issues, this work leverages three different sensors: an RGB camera, an event camera and a thermal camera. Our RGB scene reconstruction shows an improvement in PSNR and SSIM by +2.06 dB and +8.3% respectively. Our cross-spectral scene reconstruction enhances downstream fruit detection by +43.0% in mAP50 and +61.1% increase in mAP50-95. The integration of additional sensors leads to a more robust and informative NeRF. We demonstrate that our multi-modal system yields high quality photo-realistic reconstructions under various tree canopy covers and at different times of the day. This work results in the development of a resilient NeRF, capable of performing well in visibly degraded scenarios, as well as a learnt cross-spectral representation, that is used for automated fruit detection.