BiPreManip: Learning Affordance-Based Bimanual Preparatory Manipulation through Anticipatory Collaboration
作者: Yan Shen, Feng Jiang, Zichen He, Xiaoqi Li, Yuchen Liu, Zhiyu Li, Ruihai Wu, Hao Dong
分类: cs.RO
发布日期: 2026-03-23
备注: Accepted to CVPR 2026
💡 一句话要点
BiPreManip：通过预测协作学习基于可供性的双臂预备操作
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 双臂操作 机器人协作 视觉可供性 预备操作 长时程规划
📋 核心要点
- 现有方法难以处理需要双臂协调完成的复杂操作任务，尤其是在物体难以直接抓取或操作时。
- 论文提出基于视觉可供性的框架，通过预测目标导向动作，引导一只手臂执行预备操作，辅助另一只手臂完成任务。
- 实验结果表明，该方法在仿真和真实环境中均显著提高了任务成功率和泛化能力，优于现有基线方法。
📝 摘要（中文）
许多日常物品难以直接抓取（例如，扁平的iPad）或进行功能性操作（例如，打开桌子上笔的笔帽）。这类任务需要双臂之间顺序的、非对称的协调，其中一只手臂执行预备操作，以使另一只手臂能够完成目标导向的动作——例如，在拿起iPad之前将其推到桌子边缘，或者抬起笔身以允许另一只手取下笔帽。本文提出了协作预备操作，这是一类双臂操作任务，需要理解物体语义和几何形状，预测空间关系，以及规划双臂之间的长时程协调动作。为了应对这一挑战，我们提出了一个基于视觉可供性的框架，该框架首先设想最终的目标导向动作，然后引导一只手臂执行一系列预备操作，以方便另一只手臂的后续操作。这种以可供性为中心的表示能够实现预测性的臂间推理和协调，有效地泛化到跨越不同类别的各种物体。在仿真和现实世界中进行的大量实验表明，与有竞争力的基线相比，我们的方法显著提高了任务成功率和泛化能力。
🔬 方法详解
问题定义：论文旨在解决双臂机器人协作操作中，对于那些难以直接抓取或操作的物体，如何通过预备操作来辅助完成任务的问题。现有方法通常难以处理这种需要长期规划和双臂协调的复杂任务，尤其是在需要理解物体语义和预测空间关系的情况下。现有方法的痛点在于缺乏有效的臂间推理和协调机制，难以泛化到不同的物体和场景。
核心思路：论文的核心思路是利用视觉可供性（visual affordance）来指导预备操作的规划。通过预测最终目标导向动作所需的可供性，引导一只手臂执行一系列预备操作，从而为另一只手臂创造有利的抓取或操作条件。这种方法的核心在于“预测”，即提前预知目标动作的需求，并以此为指导进行预备操作。
技术框架：整体框架包含以下几个主要模块：1) 目标动作预测模块：预测最终目标导向动作；2) 可供性推理模块：基于预测的目标动作，推理出所需的可供性；3) 预备操作规划模块：根据可供性需求，规划一只手臂的预备操作序列；4) 动作执行与协调模块：协调双臂的动作，执行预备操作和目标动作。整个流程是先预测目标，再反向规划预备操作，最终实现双臂的协同。
关键创新：最重要的技术创新点在于将视觉可供性引入到双臂协作操作的规划中。与现有方法相比，该方法能够更好地理解物体语义和预测空间关系，从而实现更有效的臂间推理和协调。此外，该方法还通过预测目标动作来指导预备操作的规划，从而实现了长时程的规划能力。本质区别在于，现有方法通常是基于规则或示教学习，而该方法是基于可供性的推理和规划。
关键设计：论文中可能包含以下关键设计：1) 可供性表示方法：如何有效地表示物体及其与环境之间的可供性关系；2) 预备操作规划算法：如何根据可供性需求，生成合理的预备操作序列；3) 损失函数设计：如何训练模型，使其能够准确预测目标动作和推理可供性；4) 网络结构设计：用于预测目标动作和推理可供性的神经网络结构，可能采用卷积神经网络（CNN）或Transformer等。
🖼️ 关键图片
📊 实验亮点
论文在仿真和真实环境中进行了大量实验，结果表明，该方法显著提高了任务成功率和泛化能力。与现有基线方法相比，该方法在各种双臂操作任务中均取得了显著的性能提升。具体的性能数据和提升幅度在论文中进行了详细的展示，证明了该方法的有效性和优越性。
🎯 应用场景
该研究成果可应用于各种需要双臂协作的机器人操作任务，例如：自动化装配、家庭服务机器人、医疗辅助机器人等。在自动化装配中，机器人可以利用该方法完成复杂零件的组装；在家庭服务中，机器人可以帮助人们完成各种日常任务，例如打开瓶盖、整理物品等；在医疗领域，机器人可以辅助医生进行手术操作，提高手术精度和效率。该研究具有重要的实际应用价值和广阔的发展前景。
📄 摘要（原文）
Many everyday objects are difficult to directly grasp (e.g., a flat iPad) or manipulate functionally (e.g., opening the cap of a pen lying on a desk). Such tasks require sequential, asymmetric coordination between two arms, where one arm performs preparatory manipulation that enables the other's goal-directed action - for instance, pushing the iPad to the table's edge before picking it up, or lifting the pen body to allow the other hand to remove its cap. In this work, we introduce Collaborative Preparatory Manipulation, a class of bimanual manipulation tasks that demand understanding object semantics and geometry, anticipating spatial relationships, and planning long-horizon coordinated actions between the two arms. To tackle this challenge, we propose a visual affordance-based framework that first envisions the final goal-directed action and then guides one arm to perform a sequence of preparatory manipulations that facilitate the other arm's subsequent operation. This affordance-centric representation enables anticipatory inter-arm reasoning and coordination, generalizing effectively across various objects spanning diverse categories. Extensive experiments in both simulation and the real world demonstrate that our approach substantially improves task success rates and generalization compared to competitive baselines.