MaskPlanner: Learning-Based Object-Centric Motion Generation from 3D Point Clouds
作者: Gabriele Tiboni, Raffaello Camoriano, Tatiana Tommasi
分类: cs.RO, cs.CV
发布日期: 2025-02-26
备注: Project website at https://gabrieletiboni.github.io/MaskPlanner/
💡 一句话要点
MaskPlanner：一种基于学习的、以物体为中心的3D点云运动生成方法
🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)
关键词: 物体中心运动生成 3D点云 深度学习 机器人喷涂 轨迹规划
📋 核心要点
- 现有OCMG方法依赖启发式规则或复杂优化，泛化性差，难以适应真实场景中自由曲面物体的轨迹规划。
- MaskPlanner通过深度学习直接从3D点云生成运动轨迹，同时预测路径掩码，实现局部几何和全局任务需求的统一。
- 实验表明，MaskPlanner在机器人喷涂任务中对未见过的物体实现了高覆盖率，并在真实机器人上验证了轨迹的可执行性和高质量。
📝 摘要（中文）
本文提出了一种新颖的、完全数据驱动的框架MaskPlanner，用于直接从3D点云中解决以物体为中心的运动生成（OCMG）问题。OCMG在机器人喷涂和焊接等工业应用中至关重要，需要高效、可扩展和可泛化的算法来规划自由曲面3D对象上的多条长程轨迹。现有解决方案依赖于专门的启发式方法、昂贵的优化程序或限制性的几何假设，限制了它们在实际场景中的适应性。MaskPlanner是一种深度学习方法，可以预测给定对象的局部路径段，同时推断“路径掩码”以将这些段分组为不同的路径。这种设计促使网络在一次前向传递中捕获局部几何模式和全局任务需求。在真实的机器人喷涂场景中进行的大量实验表明，该方法对未见过的对象实现了接近完整的覆盖率（超过99%），同时保持了任务无关性，并且没有明确地针对涂料沉积进行优化。此外，在6自由度专用喷涂机器人上的真实世界验证表明，生成的轨迹可以直接执行并产生专家级的喷涂质量。研究结果突出了所提出的学习方法在OCMG中降低工程开销并无缝适应多个工业用例的潜力。
🔬 方法详解
问题定义：论文旨在解决以物体为中心的运动生成(OCMG)问题，即如何为自由曲面的3D物体生成合适的运动轨迹，例如在机器人喷涂或焊接等应用中。现有方法通常依赖于人工设计的启发式规则或计算成本高昂的优化算法，难以泛化到新的物体形状和任务需求，并且对几何形状有较强的假设。
核心思路：论文的核心思路是利用深度学习直接从3D点云数据中学习运动轨迹的生成策略。通过训练一个神经网络，使其能够根据输入的物体点云预测一系列局部路径段，并同时预测一个“路径掩码”来将这些路径段分组到不同的轨迹中。这种设计使得网络能够同时学习局部几何特征和全局任务需求。
技术框架：MaskPlanner的整体框架包含以下几个主要模块：1) 点云编码器：用于提取输入3D点云的特征表示。2) 路径段预测器：根据点云特征预测一系列局部路径段，每个路径段表示机器人运动轨迹的一小段。3) 路径掩码预测器：预测一个掩码，用于将路径段分组到不同的轨迹中。4) 轨迹生成器：根据预测的路径段和掩码生成完整的运动轨迹。
关键创新：MaskPlanner的关键创新在于同时预测局部路径段和路径掩码。这种设计使得网络能够学习到局部几何特征（通过路径段预测）和全局任务需求（通过路径掩码预测）。与现有方法相比，MaskPlanner不需要人工设计启发式规则或进行复杂的优化，而是通过端到端的学习来实现运动轨迹的生成。
关键设计：MaskPlanner使用PointNet++作为点云编码器，提取点云的局部和全局特征。路径段预测器和路径掩码预测器都是基于MLP的网络。损失函数包括两部分：1) 路径段损失：用于衡量预测的路径段与真实路径段之间的差异。2) 掩码损失：用于衡量预测的掩码与真实掩码之间的差异。此外，论文还使用了数据增强技术来提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，MaskPlanner在机器人喷涂任务中取得了显著的性能提升。在未见过的物体上，MaskPlanner实现了超过99%的覆盖率，远高于传统的启发式方法。此外，在真实机器人上的实验表明，MaskPlanner生成的轨迹可以直接执行，并能够达到专家级的喷涂质量。这些结果表明，MaskPlanner具有很强的泛化能力和实用价值。
🎯 应用场景
MaskPlanner在机器人喷涂、焊接、3D打印等工业自动化领域具有广泛的应用前景。它可以根据物体的3D模型自动生成运动轨迹，无需人工干预，从而降低工程成本，提高生产效率。此外，MaskPlanner还可以应用于医疗、建筑等领域，例如用于手术规划、建筑结构设计等。
📄 摘要（原文）
Object-Centric Motion Generation (OCMG) plays a key role in a variety of industrial applications$\unicode{x2014}$such as robotic spray painting and welding$\unicode{x2014}$requiring efficient, scalable, and generalizable algorithms to plan multiple long-horizon trajectories over free-form 3D objects. However, existing solutions rely on specialized heuristics, expensive optimization routines, or restrictive geometry assumptions that limit their adaptability to real-world scenarios. In this work, we introduce a novel, fully data-driven framework that tackles OCMG directly from 3D point clouds, learning to generalize expert path patterns across free-form surfaces. We propose MaskPlanner, a deep learning method that predicts local path segments for a given object while simultaneously inferring "path masks" to group these segments into distinct paths. This design induces the network to capture both local geometric patterns and global task requirements in a single forward pass. Extensive experimentation on a realistic robotic spray painting scenario shows that our approach attains near-complete coverage (above 99%) for unseen objects, while it remains task-agnostic and does not explicitly optimize for paint deposition. Moreover, our real-world validation on a 6-DoF specialized painting robot demonstrates that the generated trajectories are directly executable and yield expert-level painting quality. Our findings crucially highlight the potential of the proposed learning method for OCMG to reduce engineering overhead and seamlessly adapt to several industrial use cases.