Generalizable Coarse-to-Fine Robot Manipulation via Language-Aligned 3D Keypoints

📄 arXiv: 2509.23575v1 📥 PDF

作者: Jianshu Hu, Lidi Wang, Shujia Li, Yunpeng Jiang, Xiao Li, Paul Weng, Yutong Ban

分类: cs.RO

发布日期: 2025-09-28

💡 一句话要点

提出CLAP框架，通过语言对齐的3D关键点实现机器人操作的泛化

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 机器人操作 泛化能力 视觉语言模型 3D关键点 分层策略

📋 核心要点

  1. 现有的分层粗细粒度策略在机器人操作中面临泛化性挑战，难以适应新的指令和环境变化。
  2. CLAP框架通过任务分解、VLM微调和3D感知表示，实现了语言对齐的3D关键点预测，提升了泛化能力。
  3. 实验结果表明，CLAP在模拟和真实机器人环境中均表现出优越的泛化性能，且训练样本需求更少。

📝 摘要（中文）

本文提出了一种名为Coarse-to-fine Language-Aligned manipulation Policy (CLAP) 的框架，旨在提升机器人3D操作任务中分层粗细粒度策略的泛化能力。该框架集成了三个关键组件：任务分解、用于3D关键点预测的VLM微调以及3D感知表示。通过在模拟和真实机器人上的综合实验，证明了其卓越的泛化能力。在GemBench基准测试中，CLAP的平均成功率比SOTA方法高出12％，同时仅使用了1/5的训练轨迹。在真实世界实验中，仅用10个演示训练的策略成功泛化到新的指令和环境中。

🔬 方法详解

问题定义：现有的分层粗细粒度机器人操作策略，即使借助预训练模型，仍然难以泛化到新的指令和环境变化。这些策略通常需要大量的训练数据才能适应不同的任务，并且在面对未知的场景时表现不佳。因此，如何提高机器人操作策略的泛化能力，使其能够适应更广泛的任务和环境，是一个重要的研究问题。

核心思路：本文的核心思路是将语言信息与3D场景信息对齐，利用视觉语言模型（VLM）预测与任务相关的3D关键点，并以此引导机器人的操作。通过这种方式，机器人可以理解指令的含义，并将其转化为具体的3D操作目标，从而提高泛化能力。同时，采用粗细粒度的分层策略，先确定感兴趣区域，再进行精细操作，可以提高操作的效率和精度。

技术框架：CLAP框架包含三个主要模块：1) 任务分解模块，将复杂的任务分解为一系列简单的子任务；2) VLM微调模块，利用视觉语言模型预测3D关键点，实现语言和3D场景的对齐；3) 3D感知表示模块，利用3D信息构建环境的表示，为机器人提供操作的上下文信息。整个流程如下：首先，接收语言指令和3D场景信息；然后，利用VLM预测3D关键点；接着，利用3D感知表示构建环境表示；最后，利用分层策略控制机器人执行操作。

关键创新：最重要的技术创新点在于利用视觉语言模型（VLM）进行3D关键点预测，并将语言信息与3D场景信息对齐。与现有方法相比，CLAP不需要大量的训练数据，就可以学习到通用的操作策略。此外，CLAP还采用了3D感知表示，可以更好地理解环境的上下文信息，从而提高操作的精度和鲁棒性。

关键设计：在VLM微调模块中，使用了预训练的视觉语言模型，并针对3D关键点预测任务进行了微调。损失函数包括关键点预测损失和语言对齐损失。在3D感知表示模块中，使用了点云数据作为输入，并利用PointNet等网络提取特征。在分层策略中，粗粒度分支预测感兴趣区域，细粒度分支预测具体的动作。具体参数设置和网络结构的选择取决于具体的任务和数据集。

📊 实验亮点

CLAP在GemBench基准测试中，平均成功率比SOTA方法高出12％，同时仅使用了1/5的训练轨迹。在真实世界实验中，仅用10个演示训练的策略成功泛化到新的指令和环境中。这些结果表明，CLAP具有卓越的泛化能力和样本效率，能够在实际应用中发挥重要作用。

🎯 应用场景

该研究成果可应用于各种机器人操作任务，例如：家庭服务机器人、工业机器人、医疗机器人等。通过提高机器人操作的泛化能力，可以使其更好地适应不同的任务和环境，从而提高工作效率和服务质量。未来，该技术有望应用于更复杂的机器人系统，例如：自动驾驶汽车、无人机等。

📄 摘要（原文）

Hierarchical coarse-to-fine policy, where a coarse branch predicts a region of interest to guide a fine-grained action predictor, has demonstrated significant potential in robotic 3D manipulation tasks by especially enhancing sample efficiency and enabling more precise manipulation. However, even augmented with pre-trained models, these hierarchical policies still suffer from generalization issues. To enhance generalization to novel instructions and environment variations, we propose Coarse-to-fine Language-Aligned manipulation Policy (CLAP), a framework that integrates three key components: 1) task decomposition, 2) VLM fine-tuning for 3D keypoint prediction, and 3) 3D-aware representation. Through comprehensive experiments in simulation and on a real robot, we demonstrate its superior generalization capability. Specifically, on GemBench, a benchmark designed for evaluating generalization, our approach achieves a 12\% higher average success rate than the SOTA method while using only 1/5 of the training trajectories. In real-world experiments, our policy, trained on only 10 demonstrations, successfully generalizes to novel instructions and environments.