SAM2Grasp: Resolve Multi-modal Grasping via Prompt-conditioned Temporal Action Prediction
作者: Shengkai Wu, Jinrong Yang, Wenqiu Luo, Linfeng Gao, Chaohui Shang, Meiyu Zhi, Mingshan Sun, Fangping Yang, Liangliang Ren, Yong Zhao
分类: cs.RO, cs.CV
发布日期: 2025-12-02
💡 一句话要点
SAM2Grasp：通过提示条件的时间动作预测解决多模态抓取问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人抓取 模仿学习 多模态学习 时间动作预测 视觉跟踪
📋 核心要点
- 传统模仿学习在多目标抓取场景中，因多个有效抓取目标导致训练信号冲突，难以学习有效的抓取策略。
- SAM2Grasp利用SAM2的视觉时间跟踪能力，通过初始提示指定抓取目标，将多模态问题转化为单模态的条件预测问题。
- 实验表明，SAM2Grasp在复杂的多目标抓取任务中取得了state-of-the-art的性能，显著提升了抓取成功率。
📝 摘要（中文）
机器人抓取的模仿学习常常受到多模态问题的困扰：当场景包含多个有效目标时，抓取不同物体的演示会产生冲突的训练信号。标准的模仿学习策略会失效，因为它们将这些不同的动作平均成一个单一的、无效的动作。本文提出了SAM2Grasp，一种新颖的框架，通过将任务重新定义为单模态、提示条件下的预测问题来解决这个问题。我们的方法利用冻结的SAM2模型，利用其强大的视觉时间跟踪能力，并引入一个轻量级的、可训练的动作头，与原生的分割头并行运行。这种设计允许仅在来自SAM2的预计算的时间-视觉特征上训练小型动作头。在推理过程中，一个初始提示（例如，来自上游目标检测模型的边界框）指定要抓取的特定对象。这个提示条件动作头来预测该对象唯一的、明确的抓取轨迹。在所有后续视频帧中，SAM2内置的时间跟踪能力自动保持对所选对象的稳定跟踪，使我们的模型能够从视频流中连续预测抓取轨迹，而无需进一步的外部指导。这种时间提示方法有效地消除了视觉运动策略中的歧义。通过大量的实验证明，SAM2Grasp在杂乱的多目标抓取任务中实现了最先进的性能。
🔬 方法详解
问题定义：机器人抓取任务中，当场景存在多个可抓取目标时，模仿学习方法面临多模态问题。不同的抓取演示会产生冲突的训练信号，导致模型无法学习到有效的抓取策略，最终输出无效的平均动作。现有方法难以有效区分并针对特定目标进行抓取。
核心思路：将多模态抓取问题转化为单模态的、提示条件下的动作预测问题。通过初始提示（例如目标边界框）指定要抓取的特定对象，模型只需要学习针对该对象的抓取轨迹。利用SAM2的视觉时间跟踪能力，在后续帧中自动跟踪目标，从而实现连续的抓取轨迹预测。
技术框架：SAM2Grasp框架主要包含两个部分：冻结的SAM2模型和可训练的动作头。SAM2负责提取时间-视觉特征并跟踪目标，动作头基于这些特征预测抓取轨迹。在训练阶段，只训练动作头，SAM2的参数保持不变。在推理阶段，首先通过提示指定目标，然后SAM2跟踪目标，动作头预测抓取轨迹。
关键创新：核心创新在于将多模态抓取问题转化为单模态的条件预测问题，并利用SAM2的视觉时间跟踪能力实现目标的持续跟踪。与传统的模仿学习方法相比，SAM2Grasp能够有效地消除抓取策略中的歧义，从而学习到更有效的抓取策略。此外，只训练轻量级的动作头，大大降低了训练成本。
关键设计：SAM2模型采用预训练的权重，并保持冻结状态。动作头是一个轻量级的神经网络，输入是SAM2提取的时间-视觉特征，输出是抓取轨迹。损失函数采用标准的模仿学习损失，例如L2损失或交叉熵损失。初始提示可以是目标边界框、分割掩码等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SAM2Grasp在多目标抓取任务中取得了state-of-the-art的性能。与现有的模仿学习方法相比，SAM2Grasp能够显著提高抓取成功率。具体的性能数据在论文中给出，表明该方法在复杂场景下具有很强的鲁棒性和泛化能力。
🎯 应用场景
SAM2Grasp可应用于各种机器人抓取场景，尤其是在杂乱、多目标的复杂环境中。例如，在仓库拣选、家庭服务机器人、工业自动化等领域，可以提高机器人抓取的准确性和效率。该研究为解决机器人抓取中的多模态问题提供了一种新的思路，具有重要的实际应用价值和潜在的未来影响。
📄 摘要（原文）
Imitation learning for robotic grasping is often plagued by the multimodal problem: when a scene contains multiple valid targets, demonstrations of grasping different objects create conflicting training signals. Standard imitation learning policies fail by averaging these distinct actions into a single, invalid action. In this paper, we introduce SAM2Grasp, a novel framework that resolves this issue by reformulating the task as a uni-modal, prompt-conditioned prediction problem. Our method leverages the frozen SAM2 model to use its powerful visual temporal tracking capability and introduces a lightweight, trainable action head that operates in parallel with its native segmentation head. This design allows for training only the small action head on pre-computed temporal-visual features from SAM2. During inference, an initial prompt, such as a bounding box provided by an upstream object detection model, designates the specific object to be grasped. This prompt conditions the action head to predict a unique, unambiguous grasp trajectory for that object alone. In all subsequent video frames, SAM2's built-in temporal tracking capability automatically maintains stable tracking of the selected object, enabling our model to continuously predict the grasp trajectory from the video stream without further external guidance. This temporal-prompted approach effectively eliminates ambiguity from the visuomotor policy. We demonstrate through extensive experiments that SAM2Grasp achieves state-of-the-art performance in cluttered, multi-object grasping tasks.