OV-PEAR: Observation-Verified Pose-Scale Estimation and Reconstruction for Unknown Industrial Manipulation Objects
作者: Guoqin Tang, Qingxuan Jia, Yichen Tan, Zihang Lv, Ruiquan Wang, Zeyuan Huang, Gang Chen
分类: cs.RO, cs.AI
发布日期: 2026-10-19
💡 一句话要点
提出OV-PEAR框架以解决未知工业物体的姿态和尺度估计问题
🎯 匹配领域: 支柱一:机器人控制 (Robot Control) 支柱三:空间感知与语义 (Perception & Semantics) 支柱七:动作重定向 (Motion Retargeting)
关键词: 姿态估计 尺度估计 3D重建 工业机器人 未知物体 多视图融合 观察验证 自动化
📋 核心要点
- 现有工业姿态估计方法依赖于CAD模型和特定训练数据,无法有效处理未知物体,且零样本方法存在遮挡和尺度不确定性问题。
- OV-PEAR框架通过三阶段物体中心管道实现未知工业物体的3D重建和姿态尺度估计,增强了对未知物体的适应性。
- 在BOP-Industrial数据集上,OV-PEAR显著提高了姿态和几何一致性,真实机器人实验中抓取和组装成功率均达到了高水平。
📝 摘要(中文)
精细的工业机器人操作需要6D姿态、尺度和可操作的3D模型。现有的工业姿态估计依赖于CAD模型、特定对象的训练数据或稳定的工作单元,限制了对未知物体的使用;零样本方法则面临单视图遮挡、生成偏差和尺度不确定性等问题。本文提出了OV-PEAR,一个观察验证的框架,用于未知工业物体的3D重建和姿态尺度估计。该框架的三阶段物体中心管道包括:分割RGB-D实例并生成物体级3D假设;通过外观感知视图检索、显式尺度搜索和可见性敏感配准将其锚定到机器人框架;将多视图RGB-D证据回投到物体标准框架中以验证体素占用,抑制幻觉并生成可重用的可信物体模型。在BOP-Industrial数据集上,OV-PEAR实现了0.657的平均AR,并提高了真实场景中的姿态和体素级几何一致性;在真实机器人连接器组装中,抓取成功率达到99.67%,组装成功率为84.00%。
🔬 方法详解
问题定义:本文旨在解决未知工业物体的姿态和尺度估计问题。现有方法依赖于CAD模型和特定训练数据,无法处理未见物体,且零样本方法在单视图遮挡和尺度不确定性方面表现不佳。
核心思路:OV-PEAR框架通过观察验证的方式,结合多视图RGB-D数据,提供了一种新的物体中心管道,能够有效重建未知物体的3D模型并准确估计其姿态和尺度。
技术框架:该框架分为三个主要阶段:第一阶段,分割RGB-D实例并生成物体级3D假设;第二阶段,通过外观感知视图检索、显式尺度搜索和可见性敏感配准将假设锚定到机器人框架;第三阶段,将多视图RGB-D证据回投到物体标准框架中,以验证体素占用并生成可信的物体模型。
关键创新:OV-PEAR的主要创新在于其观察验证机制,通过多视图数据的整合,显著提高了对未知物体的重建精度和姿态估计的可靠性,与传统方法相比,减少了对特定训练数据的依赖。
关键设计:在设计中,采用了外观感知的视图检索技术,显式的尺度搜索策略,以及可见性敏感的配准方法,确保了在复杂场景中对物体的准确识别和重建。
🖼️ 关键图片
📊 实验亮点
OV-PEAR在BOP-Industrial数据集上实现了0.657的平均AR,显著提高了姿态和体素级几何一致性。在真实机器人实验中,抓取成功率达到99.67%,组装成功率为84.00%,展示了其在实际应用中的高效性和可靠性。
🎯 应用场景
OV-PEAR框架具有广泛的应用潜力,特别是在工业自动化和机器人操作领域。它能够有效处理未知物体的操作需求,提高机器人在动态环境中的适应能力,未来可能推动智能制造和自动化装配的发展。
📄 摘要(原文)
Fine industrial robotic manipulation requires 6D pose, scale, and an operation-ready 3D model. Existing industrial pose estimation relies on CAD models, object-specific training data, or stable workcells, limiting use with unseen objects; zero-shot methods suffer from single-view occlusion, generative bias, and scale uncertainty. We present OV-PEAR, an observation-verified framework for 3D reconstruction and pose-scale estimation of unknown industrial objects. Its three-stage object-centric pipeline: (1) segments RGB-D instances and generates object-level 3D hypotheses; (2) anchors them to the robot frame via appearance-aware view retrieval, explicit scale search, and visibility-sensitive registration; (3) back-projects multi-view RGB-D evidence into the object-canonical frame to verify voxel occupancy, suppress hallucinations, and produce reusable trusted object models. On BOP-Industrial, OV-PEAR achieves 0.657 average AR and improves pose and voxel-level geometric consistency in real scenes; real-robot connector assembly reaches 99.67% grasp and 84.00% assembly success. The model library and pose-scale log enable short-term object-level state maintenance at 0.02 ms/frame.