XYZ-IBD: A High-precision Bin-picking Dataset for Object 6D Pose Estimation Capturing Real-world Industrial Complexity
作者: Junwen Huang, Jizhong Liang, Jiaqi Hu, Martin Sundermeyer, Peter KT Yu, Nassir Navab, Benjamin Busam
分类: cs.CV
发布日期: 2025-05-31 (更新: 2025-06-16)
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出XYZ-IBD数据集，用于解决真实工业环境下物体6D位姿估计的难题。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 6D位姿估计 料箱拣选 工业数据集 机器人 深度学习
📋 核心要点
- 现有6D位姿估计数据集主要集中于家用物品，难以应对工业场景中物体几何复杂、反射材质、严重遮挡等挑战。
- XYZ-IBD数据集通过采集真实工业场景数据，并结合精细的标注流程，提供高精度、高复杂度的6D位姿估计基准。
- 实验表明，现有方法在XYZ-IBD数据集上性能显著下降，验证了数据集的挑战性，并为未来研究提供了方向。
📝 摘要（中文）
本文提出了XYZ-IBD，一个用于6D位姿估计的料箱拣选数据集，旨在捕捉真实工业环境的复杂性，包括具有挑战性的物体几何形状、反射材料、严重的遮挡和密集的杂乱。该数据集反映了毫米级精确标注的真实机器人操作场景。与主要关注家用物品的现有数据集不同，XYZ-IBD代表了尚未解决的真实工业条件。该数据集包含15个无纹理、金属和大多对称的物体，这些物体具有不同的形状和大小。这些物体被严重遮挡并以高密度随机排列在料箱中，复制了真实世界料箱拣选的挑战。XYZ-IBD使用两个高精度工业相机和一个商用相机收集，提供RGB、灰度和深度图像。它包含75个多视角真实场景，以及在模拟料箱拣选条件下渲染的大规模合成数据集。我们采用细致的标注流程，包括防反射喷雾、多视角深度融合和半自动标注，实现了工业操作所需的毫米级位姿标注精度。在模拟环境中的量化证实了ground-truth标注的可靠性。我们在我们的数据集上对2D检测、6D位姿估计和深度估计任务的最先进方法进行了基准测试，揭示了与当前学术家用基准相比，我们的设置中性能显着下降。通过捕捉真实世界料箱拣选场景的复杂性，XYZ-IBD为未来的研究引入了更真实和具有挑战性的问题。数据集和基准测试可在https://xyz-ibd.github.io/XYZ-IBD/公开获取。
🔬 方法详解
问题定义：论文旨在解决真实工业环境下料箱拣选场景中物体6D位姿估计问题。现有方法在处理家用物品时表现良好，但在面对工业场景中常见的无纹理、金属反射、严重遮挡和高密度杂乱等复杂情况时，性能显著下降。这些痛点限制了6D位姿估计技术在工业自动化领域的应用。
核心思路：论文的核心思路是构建一个更贴近真实工业场景的数据集，以此推动相关算法的研发。通过采集真实数据，并采用精细的标注流程，确保数据集具有高精度和高复杂性，从而能够更有效地评估和改进现有算法。
技术框架：XYZ-IBD数据集的构建主要包含以下几个阶段： 1. 数据采集：使用两个高精度工业相机和一个商用相机，从多个角度采集真实料箱拣选场景的RGB、灰度和深度图像。 2. 数据增强：通过在模拟环境中渲染大量合成数据，增加数据集的多样性和规模。 3. 数据标注：采用防反射喷雾、多视角深度融合和半自动标注等技术，实现毫米级的位姿标注精度。 4. 基准测试：在数据集上对现有主流的2D检测、6D位姿估计和深度估计方法进行基准测试，评估其性能。
关键创新：该论文的关键创新在于构建了一个更具真实工业复杂性的6D位姿估计数据集。与现有数据集相比，XYZ-IBD数据集更真实地反映了工业场景中的物体特性和环境条件，例如无纹理、金属反射、严重遮挡和高密度杂乱等。这使得该数据集能够更有效地评估和改进现有算法，并推动6D位姿估计技术在工业自动化领域的应用。
关键设计：在数据标注方面，采用了以下关键设计： 1. 防反射喷雾：为了减少金属表面的反射，在数据采集前对物体进行防反射喷雾处理。 2. 多视角深度融合：利用多个视角的深度图像，通过融合算法提高深度信息的准确性。 3. 半自动标注：结合人工标注和自动标注算法，提高标注效率和精度。此外，论文还公开了数据集和基准测试代码，方便研究人员进行实验和比较。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有最先进的6D位姿估计方法在XYZ-IBD数据集上的性能显著下降，例如在某些指标上，性能下降幅度超过20%。这表明XYZ-IBD数据集对现有算法提出了更高的挑战，并为未来的研究提供了明确的方向。该数据集的发布将促进相关算法的改进和创新。
🎯 应用场景
XYZ-IBD数据集的潜在应用领域包括工业机器人、自动化装配、智能物流等。通过提高机器人对复杂工业环境中物体的识别和定位能力，可以实现更高效、更灵活的自动化生产线。该数据集的发布将促进相关算法的研发，加速工业自动化进程，并最终提高生产效率和降低成本。
📄 摘要（原文）
We introduce XYZ-IBD, a bin-picking dataset for 6D pose estimation that captures real-world industrial complexity, including challenging object geometries, reflective materials, severe occlusions, and dense clutter. The dataset reflects authentic robotic manipulation scenarios with millimeter-accurate annotations. Unlike existing datasets that primarily focus on household objects, which approach saturation,XYZ-IBD represents the unsolved realistic industrial conditions. The dataset features 15 texture-less, metallic, and mostly symmetrical objects of varying shapes and sizes. These objects are heavily occluded and randomly arranged in bins with high density, replicating the challenges of real-world bin-picking. XYZ-IBD was collected using two high-precision industrial cameras and one commercially available camera, providing RGB, grayscale, and depth images. It contains 75 multi-view real-world scenes, along with a large-scale synthetic dataset rendered under simulated bin-picking conditions. We employ a meticulous annotation pipeline that includes anti-reflection spray, multi-view depth fusion, and semi-automatic annotation, achieving millimeter-level pose labeling accuracy required for industrial manipulation. Quantification in simulated environments confirms the reliability of the ground-truth annotations. We benchmark state-of-the-art methods on 2D detection, 6D pose estimation, and depth estimation tasks on our dataset, revealing significant performance degradation in our setups compared to current academic household benchmarks. By capturing the complexity of real-world bin-picking scenarios, XYZ-IBD introduces more realistic and challenging problems for future research. The dataset and benchmark are publicly available at https://xyz-ibd.github.io/XYZ-IBD/.