TOSC: Task-Oriented Shape Completion for Open-World Dexterous Grasp Generation from Partial Point Clouds

📄 arXiv: 2601.05499v1 📥 PDF

作者: Weishang Wu, Yifei Shi, Zhiping Cai

分类: cs.RO

发布日期: 2026-01-09

备注: Accepted to AAAI 2026

💡 一句话要点

提出TOSC，解决部分点云下面向任务的灵巧抓取生成问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 灵巧抓取 形状补全 部分点云 任务导向 机器人操作

📋 核心要点

  1. 现有方法在部分观测下进行灵巧抓取时，由于缺失数据导致通用形状补全失效，无法有效完成任务。
  2. 论文提出面向任务的形状补全，利用预训练模型生成候选补全，并使用判别式自编码器进行评估和优化。
  3. 实验表明，该方法在抓取位移和倒角距离上显著优于现有技术，尤其擅长处理严重缺失数据的物体。

📝 摘要（中文）

本文研究了面向任务的形状补全，旨在克服在严重部分观测下开放世界物体灵巧抓取中，通用形状补全因大量缺失数据而失效的问题。该任务专注于补全潜在的接触区域，而非整个形状。论文提出，抓取的形状补全应由下游操作任务显式引导。为此，首先利用预训练基础模型对物体功能理解的零样本能力，生成多个面向任务的形状补全候选。然后，提出一种3D判别式自编码器来评估每个生成候选的可信度，并从全局角度优化最可信的候选。开发了一种名为FlowGrasp的条件流匹配模型，用于从优化后的形状生成面向任务的灵巧抓取。该方法在面向任务的灵巧抓取和面向任务的形状补全方面取得了最先进的性能，抓取位移和倒角距离分别提高了16.17%和55.26%。尤其是在抓取具有严重缺失数据的物体时，表现出良好的能力。它还展示了处理开放集类别和任务的良好通用性。

🔬 方法详解

问题定义：论文旨在解决在部分点云观测下，机器人灵巧抓取开放世界物体时，由于严重的数据缺失导致通用形状补全方法失效的问题。现有方法通常尝试补全物体的完整形状，但这种方式对于抓取任务而言并非最优，且计算成本高昂。

核心思路：论文的核心思路是将形状补全过程与下游的抓取任务显式地联系起来，即只补全对抓取有用的区域，而不是整个物体。通过这种面向任务的补全方式，可以更有效地利用有限的计算资源，并提高抓取的成功率。

技术框架：该方法主要包含三个阶段：1) 基于预训练模型生成面向任务的形状补全候选；2) 使用3D判别式自编码器评估和优化候选补全；3) 利用条件流匹配模型FlowGrasp生成灵巧抓取姿态。整体流程是从部分点云输入开始，经过形状补全和抓取生成，最终输出抓取姿态。

关键创新：该方法最重要的创新点在于提出了“面向任务的形状补全”这一概念，并将其应用于灵巧抓取任务中。与传统的通用形状补全方法不同，该方法只关注对抓取有用的区域，从而提高了补全的效率和抓取的成功率。此外，利用预训练模型生成候选补全，并使用判别式自编码器进行评估和优化，也为形状补全提供了一种新的思路。

关键设计：在生成候选补全时，利用预训练模型（具体模型未知）的零样本物体功能理解能力。3D判别式自编码器的具体网络结构未知，但其作用是评估候选补全的可信度，并选择最优的补全结果。FlowGrasp是一个条件流匹配模型，其输入是优化后的形状，输出是抓取姿态。损失函数的设计目标是使生成的抓取姿态能够稳定地抓取物体，并完成特定的任务（具体任务未知）。

📊 实验亮点

实验结果表明，该方法在面向任务的灵巧抓取和面向任务的形状补全方面均取得了最先进的性能。具体而言，抓取位移（Grasp Displacement）指标提升了16.17%，倒角距离（Chamfer Distance）指标降低了55.26%。这些数据表明，该方法在处理部分观测和复杂形状的物体时，具有显著的优势。

🎯 应用场景

该研究成果可应用于机器人自动化操作、智能制造、家庭服务机器人等领域。通过补全部分观测下的物体形状，机器人能够更好地理解和操作周围环境中的物体，从而实现更智能、更灵活的抓取和操作。未来，该技术有望应用于更复杂的任务，例如在未知环境中进行物体识别和操作，或者在医疗领域进行辅助手术等。

📄 摘要（原文）

Task-oriented dexterous grasping remains challenging in robotic manipulations of open-world objects under severe partial observation, where significant missing data invalidates generic shape completion. In this paper, to overcome this limitation, we study Task-Oriented Shape Completion, a new task that focuses on completing the potential contact regions rather than the entire shape. We argue that shape completion for grasping should be explicitly guided by the downstream manipulation task. To achieve this, we first generate multiple task-oriented shape completion candidates by leveraging the zero-shot capabilities of object functional understanding from several pre-trained foundation models. A 3D discriminative autoencoder is then proposed to evaluate the plausibility of each generated candidate and optimize the most plausible one from a global perspective. A conditional flow-matching model named FlowGrasp is developed to generate task-oriented dexterous grasps from the optimized shape. Our method achieves state-of-the-art performance in task-oriented dexterous grasping and task-oriented shape completion, improving the Grasp Displacement and the Chamfer Distance over the state-of-the-art by 16.17\% and 55.26%, respectively. In particular, it shows good capabilities in grasping objects with severe missing data. It also demonstrates good generality in handling open-set categories and tasks.