Visual Prompt Guided Unified Pushing Policy
作者: Hieu Bui, Ziyan Gao, Yuya Hosoda, Joo-Ho Lee
分类: cs.RO, cs.AI
发布日期: 2026-02-22
💡 一句话要点
提出视觉提示引导的统一推物策略，提升机器人操作的泛化性和效率
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人推物 视觉提示 流匹配 非抓取操作 机器人规划
📋 核心要点
- 现有推物方法依赖于预定义的推物原语，缺乏泛化性和效率，难以适应复杂场景。
- 本文提出一种视觉提示引导的统一推物策略，通过流匹配生成多模态动作，并利用视觉提示实现策略复用。
- 实验表明，该策略优于现有基线，并能作为低级原语集成到VLM引导的规划框架中，高效完成桌面清理任务。
📝 摘要（中文）
本文提出了一种统一的推物策略，该策略将轻量级的提示机制融入到流匹配策略中，以引导生成反应式、多模态的推物动作。视觉提示可以由高层规划器指定，从而能够在各种规划问题中重复使用该推物策略。实验结果表明，所提出的统一推物策略不仅优于现有的基线方法，而且可以有效地作为VLM引导的规划框架中的低级原语，从而高效地解决桌面清理任务。
🔬 方法详解
问题定义：现有基于预定义原语的推物方法，在面对复杂环境和任务时，需要繁琐的多步规划，效率低下且泛化性不足。如何设计一种能够适应不同场景、高效生成推物动作的统一策略是本文要解决的问题。
核心思路：本文的核心思路是将视觉提示（Visual Prompting）机制融入到流匹配（Flow Matching）策略中。视觉提示提供高层指导，流匹配策略负责生成具体的推物动作。这种结合使得策略能够根据不同的视觉提示，生成多模态的推物动作，从而适应不同的场景和任务。
技术框架：该方法的技术框架主要包含两个部分：视觉提示模块和流匹配策略模块。视觉提示模块负责接收高层规划器的指令，并将其转化为视觉提示信号。流匹配策略模块则根据视觉提示信号，生成具体的推物动作。整个流程可以概括为：高层规划器 -> 视觉提示模块 -> 流匹配策略模块 -> 推物动作。
关键创新：本文最重要的技术创新在于将视觉提示机制与流匹配策略相结合，从而实现了统一的推物策略。与现有方法相比，该方法不需要预定义推物原语，而是通过视觉提示来引导策略生成动作，从而提高了策略的泛化性和效率。
关键设计：视觉提示的具体形式未知，但可以推测其为图像或特征向量。流匹配策略的具体网络结构未知，但可以推测其为条件生成模型，输入为视觉提示和当前状态，输出为推物动作。损失函数的设计目标是使生成的推物动作能够有效地实现视觉提示所指示的目标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在推物任务中优于现有基线方法。更重要的是，该方法能够作为低级原语集成到VLM引导的规划框架中，高效地解决桌面清理任务，验证了其在复杂任务中的实用性。具体的性能数据和提升幅度未知。
🎯 应用场景
该研究成果可应用于机器人自动化、智能家居、仓储物流等领域。例如，可以用于机器人自主整理桌面、在拥挤环境中移动物体、以及在复杂场景下进行物体重排等任务。该方法能够提高机器人的操作效率和适应性，使其能够更好地服务于人类。
📄 摘要（原文）
As one of the simplest non-prehensile manipulation skills, pushing has been widely studied as an effective means to rearrange objects. Existing approaches, however, typically rely on multi-step push plans composed of pre-defined pushing primitives with limited application scopes, which restrict their efficiency and versatility across different scenarios. In this work, we propose a unified pushing policy that incorporates a lightweight prompting mechanism into a flow matching policy to guide the generation of reactive, multimodal pushing actions. The visual prompt can be specified by a high-level planner, enabling the reuse of the pushing policy across a wide range of planning problems. Experimental results demonstrate that the proposed unified pushing policy not only outperforms existing baselines but also effectively serves as a low-level primitive within a VLM-guided planning framework to solve table-cleaning tasks efficiently.