OREN-X: Octree Residual Network for Real-Time Multi-Modal Mapping
作者: Zhirui Dai, Qihao Qian, Dinh Minh Nguyen, Quan-Dung Pham, Kiana Bronder, Carlos Nieto-Granda, Yiyu Chen, Quan Nguyen, Nikolay Atanasov
分类: cs.RO
发布日期: 2026-09-24
💡 一句话要点
提出OREN-X以解决多模态映射效率低下问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 多模态映射 八叉树 实时渲染 视觉-语言特征 在线字典学习
📋 核心要点
- 现有方法在多模态映射中分别处理不同模态，导致内存和计算成本高，且缺乏模态间的协同效应。
- OREN-X通过使用八叉树作为共享数据结构，统一存储和检索几何、辐射和视觉-语言信息，提升了数据处理效率。
- 在Replica数据集上，OREN-X实现了实时映射，SDF准确性提高33%，开放词汇3D mIoU提升71%，显著优于现有方法。
📝 摘要（中文）
为了实现长时间的通用自主性，机器人需要维护支持多种任务的空间环境信息，包括几何信息用于规划和控制、辐射信息用于渲染和重定位，以及视觉-语言特征用于开放词汇的基础。现有方法分别表示和估计每种模态，导致内存和计算成本增加，同时忽略了表示之间的潜在协同。我们开发了OREN-X，这是一种在线映射方法，使用三维空间中的八叉树作为共享数据结构来索引和存储多模态场，捕捉几何、辐射和视觉-语言信息。OREN-X提供了这些数据的高效统一存储和检索，支持显式/隐式和完整/压缩形式。我们的统一表示实现了跨模态协同：SDF估计通过占用和辐射得到了增强，而基于GPU的光线-八叉树遍历和八叉树查询则实现了实时渲染。在Replica数据集上，OREN-X以实时速度映射（SDF超过80帧每秒，四种模态超过30帧每秒），在单模态基线的基础上提高了近表面SDF准确性33%，并在最佳先前方法上提高了71%的开放词汇3D mIoU和61%的平均准确性。
🔬 方法详解
问题定义：本论文旨在解决机器人在长时间自主操作中对多模态环境信息的高效存储与处理问题。现有方法各自处理不同模态，导致资源浪费和协同效应缺失。
核心思路：OREN-X的核心思路是利用八叉树作为统一的数据结构，整合几何、辐射和视觉-语言信息，从而实现高效的多模态映射和实时渲染。这样的设计能够有效降低内存和计算开销，同时提升信息的互补性。
技术框架：OREN-X的整体架构包括数据采集、八叉树构建、信息存储与检索、以及实时渲染模块。首先，机器人通过传感器采集环境数据，然后构建八叉树以存储多模态信息，最后通过GPU加速实现实时渲染和查询。
关键创新：OREN-X的主要创新在于其统一的多模态表示和高效的在线字典学习方法，能够在压缩视觉-语言特征的同时提高查询准确性。这与传统方法的分离处理形成鲜明对比。
关键设计：在设计中，OREN-X采用了在线字典学习来压缩视觉-语言特征，压缩比达到3.7倍，同时保持较高的查询精度。此外，使用GPU进行光线-八叉树遍历和查询，确保了实时性能。
🖼️ 关键图片
📊 实验亮点
OREN-X在Replica数据集上的实验结果显示，其在实时映射方面表现优异，SDF的处理速度超过80帧每秒，四种模态的处理速度超过30帧每秒。同时，近表面SDF的准确性提高了33%，开放词汇3D mIoU提升了71%，平均准确性提升了61%，显著优于现有的最佳方法。
🎯 应用场景
OREN-X的研究成果在机器人导航、环境建模和增强现实等领域具有广泛的应用潜力。通过高效的多模态映射，机器人能够更好地理解和互动复杂环境，从而提升自主决策能力和任务执行效率。未来，该技术可能推动智能机器人在动态和复杂环境中的应用。
📄 摘要（原文）
To achieve general-purpose autonomy over long horizons, a robot needs to maintain spatial environment information that supports a variety of tasks: geometry for planning and control, radiance for rendering and relocalization, and vision-language features for open-vocabulary grounding. Existing methods represent and estimate each modality separately, multiplying memory and compute cost while forgoing potential synergy among the representations. We develop OREN-X, an online mapping method that uses an octree in 3D space as a shared data structure for indexing and storing a multi-modal field, capturing geometric, radiance, and vision-language information. OREN-X provides efficient unified storage and retrieval of these data in explicit/implicit and full/compressed form. Our unified representation yields cross-modality synergy: SDF estimates are sharpened by occupancy and radiance, while GPU-based ray-octree traversal and octree query enable real-time rendering. We also use online dictionary learning to compress the vision-language features, shrinking them 3.7x below full per-vertex storage while raising the query accuracy. On Replica, OREN-X maps in real time (80+ fps for SDF and 30+ fps for all four modalities), improves near-surface SDF accuracy by 33% over single-modality baselines, and improves mean open-vocabulary 3D mIoU by 71% and mean accuracy by 61% over the best prior method.