Building Information Models to Robot-Ready Site Digital Twins (BIM2RDT): An Agentic AI Safety-First Framework
作者: Reza Akhavian, Mani Amani, Johannes Mootz, Robert Ashe, Behrad Beheshti
分类: cs.RO
发布日期: 2025-09-25
💡 一句话要点
BIM2RDT：构建信息模型到机器人就绪的施工现场数字孪生，保障安全
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数字孪生 建筑信息模型 机器人 点云配准 人工智能 施工安全 语义理解
📋 核心要点
- 现有方法难以将静态BIM数据与动态变化的施工现场实时数据有效融合，限制了机器人自主作业能力。
- BIM2RDT框架利用智能代理AI，整合BIM、IoT和机器人数据，构建动态数字孪生，优化机器人路径并保障安全。
- 实验表明，SG-ICP算法显著提升点云配准精度，降低RMSE达64.3%-88.3%，HAV监测增强了安全合规性。
📝 摘要（中文）
本文提出了一种名为BIM2RDT（构建信息模型到机器人就绪的施工现场数字孪生）的智能代理人工智能框架，旨在将静态的建筑信息模型（BIM）转换为动态的、机器人就绪的数字孪生（DT），并在执行过程中优先考虑安全性。该框架通过整合三个关键数据流来弥合预先存在的BIM数据与实时现场条件之间的差距：来自BIM模型的几何和语义信息、来自物联网传感器网络的活动数据以及机器人现场巡视期间收集的视觉空间数据。该方法引入了语义重力ICP（SG-ICP），这是一种利用大型语言模型（LLM）推理的点云配准算法。与传统方法不同，SG-ICP利用LLM根据BIM语义推断特定于对象的、合理的姿态先验，通过避免收敛到局部最小值来提高对齐精度。这创建了一个反馈循环，其中机器人收集的数据更新DT，进而优化任务路径。该框架采用YOLOE对象检测和Shi-Tomasi角点检测来识别和跟踪施工元素，同时使用BIM几何作为先验地图。该框架还集成了实时手部-手臂振动（HAV）监测，使用IFC标准将传感器检测到的安全事件映射到数字孪生，以便进行干预。实验表明，SG-ICP优于标准ICP，在存在遮挡特征的场景中，对齐的RMSE降低了64.3%--88.3%，确保了合理的姿态。HAV集成在超过暴露限值时触发警告，从而加强了对ISO 5349-1的合规性。
🔬 方法详解
问题定义：论文旨在解决如何将静态的建筑信息模型（BIM）转化为动态的、机器人可用的施工现场数字孪生（DT）的问题。现有方法通常难以有效地融合BIM数据与实时现场数据，导致机器人无法准确感知环境并进行自主作业。此外，施工现场的安全问题也难以通过传统方法进行有效监控和预警。
核心思路：论文的核心思路是利用智能代理人工智能（Agentic AI）框架，整合BIM模型的几何和语义信息、物联网（IoT）传感器网络的活动数据以及机器人收集的视觉空间数据，构建一个动态更新的数字孪生。通过该数字孪生，机器人可以更好地理解环境，优化路径规划，并及时发现安全隐患。
技术框架：BIM2RDT框架包含以下主要模块：1) 数据采集模块：从BIM模型、IoT传感器和机器人收集数据。2) 数据处理模块：利用SG-ICP算法进行点云配准，使用YOLOE和Shi-Tomasi算法进行对象检测和跟踪。3) 数字孪生构建模块：将处理后的数据整合到数字孪生中，并使用IFC标准进行数据管理。4) 安全监测模块：实时监测手部-手臂振动（HAV），并在超过安全阈值时发出警告。5) 机器人控制模块：根据数字孪生信息优化机器人路径，并执行相应的任务。
关键创新：论文最重要的技术创新点是提出了语义重力ICP（SG-ICP）算法。与传统的ICP算法不同，SG-ICP利用大型语言模型（LLM）根据BIM语义推断特定于对象的、合理的姿态先验，从而避免收敛到局部最小值，显著提高了点云配准的精度。
关键设计：SG-ICP算法的关键设计在于利用LLM进行姿态先验推断。具体来说，LLM被用于分析BIM模型中对象的语义信息，并根据这些信息预测对象在现实世界中可能的姿态。这些姿态先验被用于指导ICP算法的迭代过程，从而提高配准的准确性和鲁棒性。此外，HAV监测模块的关键设计在于使用IFC标准将传感器数据映射到数字孪生中，从而实现安全事件的可视化和管理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SG-ICP算法在点云配准方面显著优于标准ICP算法，在存在遮挡特征的场景中，对齐的RMSE降低了64.3%--88.3%。此外，HAV监测模块能够实时监测手部-手臂振动，并在超过安全阈值时发出警告，有效保障了施工人员的安全。
🎯 应用场景
该研究成果可广泛应用于建筑施工、基础设施维护、灾害救援等领域。通过构建机器人就绪的数字孪生，可以提高施工效率、降低安全风险、优化资源配置，并为未来的智能建造提供技术支撑。该框架还可扩展到其他领域，例如智慧城市、智能工厂等。
📄 摘要（原文）
The adoption of cyber-physical systems and jobsite intelligence that connects design models, real-time site sensing, and autonomous field operations can dramatically enhance digital management in the construction industry. This paper introduces BIM2RDT (Building Information Models to Robot-Ready Site Digital Twins), an agentic artificial intelligence (AI) framework designed to transform static Building Information Modeling (BIM) into dynamic, robot-ready digital twins (DTs) that prioritize safety during execution. The framework bridges the gap between pre-existing BIM data and real-time site conditions by integrating three key data streams: geometric and semantic information from BIM models, activity data from IoT sensor networks, and visual-spatial data collected by robots during site traversal. The methodology introduces Semantic-Gravity ICP (SG-ICP), a point cloud registration algorithm that leverages large language model (LLM) reasoning. Unlike traditional methods, SG-ICP utilizes an LLM to infer object-specific, plausible orientation priors based on BIM semantics, improving alignment accuracy by avoiding convergence on local minima. This creates a feedback loop where robot-collected data updates the DT, which in turn optimizes paths for missions. The framework employs YOLOE object detection and Shi-Tomasi corner detection to identify and track construction elements while using BIM geometry as a priori maps. The framework also integrates real-time Hand-Arm Vibration (HAV) monitoring, mapping sensor-detected safety events to the digital twin using IFC standards for intervention. Experiments demonstrate SG-ICP's superiority over standard ICP, achieving RMSE reductions of 64.3%--88.3% in alignment across scenarios with occluded features, ensuring plausible orientations. HAV integration triggers warnings upon exceeding exposure limits, enhancing compliance with ISO 5349-1.