ExcavaTwin: Training-Free Geometry-Guided Semantic Elevation Mapping for Autonomous Excavation
作者: Yu Deng, Lingshan Zeng, Tong Hu, Rushi Dai
分类: cs.RO
发布日期: 2026-09-28
备注: 8 pages,5 figures
💡 一句话要点
提出ExcavaTwin以解决自主挖掘中的几何与语义映射问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 自主挖掘 几何引导 语义映射 多视角融合 视觉模型 高程图 动态环境
📋 核心要点
- 现有的挖掘映射方法主要集中于高程，缺乏对地形几何和语义的综合考虑，导致在复杂场景中的表现不稳定。
- ExcavaTwin框架通过多视角RGB图像重建场景几何和语义，采用几何引导的方式进行语义融合，从而无需特定训练。
- 在真实挖掘场景中，系统实现了约1.4秒的更新间隔和12.74厘米的高程误差，展现出良好的几何和语义感知能力。
📝 摘要（中文）
自主挖掘需要一种空间表示，能够同时捕捉地形几何和任务相关的语义。现有的挖掘映射主要集中于高程，而通用语义模型在非结构化的户外场景中表现不稳定。本文提出ExcavaTwin，一个无需特定挖掘训练的纯视觉几何引导语义高程映射框架。该框架利用多视角RGB图像重建场景几何和语义观察，推导地形和非地形几何支持，进行几何约束的多视角语义融合，以抑制不合理预测并恢复不完整观察，最后将融合状态投影到任务导向的语义高程图上。实验结果表明，该系统在真实挖掘场景中实现了约1.4秒的平均更新间隔和12.74厘米的平均高程误差。
🔬 方法详解
问题定义：本文旨在解决自主挖掘中的几何与语义映射问题。现有方法往往侧重于高程，缺乏对复杂地形和语义信息的有效整合，导致在动态环境中表现不佳。
核心思路：ExcavaTwin框架的核心思路是利用多视角RGB图像，通过几何引导的方式进行语义融合，避免了对特定挖掘任务的训练需求，从而提高了系统的适应性和稳定性。
技术框架：该框架主要包括四个模块：1) 使用冻结的视觉模型重建场景几何和语义观察；2) 推导地形和非地形的几何支持；3) 进行几何约束的多视角语义融合；4) 将融合后的状态投影到任务导向的语义高程图上。
关键创新：ExcavaTwin的主要创新在于其无需特定训练的几何引导语义融合方法，显著提高了在复杂和动态环境中的表现，与传统方法相比，具备更强的鲁棒性和适应性。
关键设计：在设计中，采用了冻结的视觉模型以确保稳定性，同时在多视角融合过程中引入几何约束，以抑制不合理的预测并恢复不完整的观察数据。
🖼️ 关键图片
📊 实验亮点
在实验中，ExcavaTwin在真实挖掘场景中实现了平均1.4秒的更新间隔和12.74厘米的高程误差，表现出优于传统方法的性能，尤其在动态环境下的稳定性和准确性显著提升。
🎯 应用场景
该研究的潜在应用领域包括自动化建筑、土木工程和矿业等自主挖掘任务。通过提供更可靠的几何和语义感知，ExcavaTwin能够提升挖掘效率和安全性，未来可能在智能施工和无人驾驶设备中发挥重要作用。
📄 摘要（原文）
Autonomous excavation requires a spatial representation that jointly captures terrain geometry and task-relevant semantics. Existing excavation mapping is largely elevation-centric, while generic semantic models remain unstable in unstructured outdoor scenes. We present ExcavaTwin, a pure-vision geometry-guided semantic elevation mapping framework without excavation-specific training. Given multi-view RGB images, the framework: 1) reconstructs scene geometry and semantic observations using frozen vision models; 2) derives terrain and non-terrain geometric support; 3) performs geometry-constrained multi-view semantic fusion to suppress implausible predictions and recover incomplete observations; and 4) projects the fused state into a task-oriented semantic elevation map. Experiments on public datasets and real excavation scenes demonstrate reliable geometric and semantic perception. In real excavation, the system achieved an average update interval of approximately 1.4 s and a mean elevation error of 12.74cm in dynamically modified regions. Larger errors mainly occur during rapid terrain changes and transient visual disturbances caused by machine motion.