NeRFifyMesh: Optimizing Neural Radiance Fields from Textured Meshes for Robotics Scene Building

📄 arXiv: 2610.10387v1 📥 PDF

作者: Nillan Nimal, Mahboubeh Asadi, Sajad Saeedi

分类: cs.RO

发布日期: 2026-10-07

备注: Accepted to IROS2026

💡 一句话要点

提出NeRFifyMesh以解决机器人场景构建中的NeRF模型转换问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 3D网格模型 机器人技术 场景构建 碰撞仿真 深度学习 计算机视觉

📋 核心要点

  1. 现有方法在将3D网格模型转换为NeRF表示时，依赖于相机采样和多视图图像渲染，效率低下。
  2. 论文提出了一种新颖的管道，通过对网格几何和纹理进行采样，生成基于点的辐射场，简化了转换过程。
  3. 实验表明，该方法在渲染质量上与传统基线相当，同时能够有效构建统一的NeRF场景并进行碰撞仿真。

📝 摘要（中文）

在机器人领域，场景表示对于理解和与环境交互至关重要。神经辐射场（NeRF）及其变体作为一种新颖的表示方法，开启了研究的新前沿。本文提出了一种新型管道，通过对现有的3D网格模型进行采样，人工生成基于点的辐射场，从而将网格模型转换为NeRF表示。这种方法消除了基于相机的采样或渲染多视图图像的需求，便于快速算法开发和测试。实验结果表明，该方法在渲染质量上与基线方法相当，并展示了在构建统一NeRF场景和进行碰撞仿真方面的应用。

🔬 方法详解

问题定义：本文旨在解决将现有3D网格模型高效转换为NeRF表示的问题。现有方法通常依赖于相机采样和多视图图像渲染，导致效率低下和开发周期延长。

核心思路：论文提出的核心思路是通过对网格几何和纹理进行采样，人工生成一个基于点的辐射场，从而避免了传统方法中的相机依赖性。这种设计使得快速算法开发和测试成为可能。

技术框架：整体架构包括三个主要模块：首先，采样网格几何和纹理；其次，生成点基的辐射场；最后，利用生成的辐射场训练NeRF模型。该流程简化了模型转换的复杂性。

关键创新：最重要的技术创新在于提出了一种无需相机采样的转换方法，通过直接从网格生成辐射场，显著提高了转换效率和灵活性。与现有方法相比，这一创新使得快速开发成为可能。

关键设计：在技术细节上，关键参数包括采样密度和纹理映射精度，损失函数设计为最小化生成辐射场与真实场景之间的差异，网络结构则采用了适合处理高维数据的深度学习模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，所提出的方法在渲染质量上与基线方法相当，且在转换效率上有显著提升。具体而言，基于该方法构建的NeRF场景在碰撞仿真中表现出良好的稳定性和准确性，证明了其在实际应用中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在机器人领域的语义映射和仿真中。通过快速构建NeRF场景，研究人员可以更高效地进行环境理解和交互测试，推动机器人技术的进步。此外，该方法也可应用于虚拟现实和增强现实等领域，提升用户体验。

📄 摘要（原文）

In robotics, scene representation plays a pivotal role in understanding and interacting with the environment. The advent of Neural Radiance Fields (NeRF) and its variants, as a novel representation, has opened a new frontier of research. In applications such as semantic mapping and simulation, roboticists aim to build scenes using multiple NeRF models, each representing an object. While extensive datasets of 3D mesh models already exist, there is an urgent need to develop tools to convert these assets to NeRF models for rapid algorithm development and testing. This paper presents a new pipeline for converting existing mesh models to NeRF representations by artificially generating a ground truth point-based radiance field through sampling mesh geometry and texture. This approach alleviates the need for camera-based sampling or rendering multi-view images of the original mesh to train the NeRF model. Extensive benchmarking demonstrates that our method yields comparable rendering quality to the baselines. Additionally, the application of this representation is shown by constructing unified NeRF scenes and performing collision simulations with extracted geometry.