Grasp, Handover, Rotate: Bimanual Object Reorientation via Compositional Diffusion and Energy-Based Optimization

📄 arXiv: 2607.21341v1 📥 PDF

作者: Wun Lam Yeung, Wenjun Liu, Yui Cheung Yu, Zhengyan Lambo Qin, Qijin She, Heng Li, Ziqi Wang, Ping Tan

分类: cs.RO

发布日期: 2026-07-23

备注: IROS 2026

💡 一句话要点

提出BiCompoDiff以解决双手物体重新定向问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 双手操作 物体重新定向 能量优化 扩散模型 机器人技术 运动规划 碰撞避免 轨迹平滑

📋 核心要点

  1. 现有方法在多目标优化下难以实现双手物体的有效重新定向，尤其是在碰撞和运动约束下。
  2. 本文提出BiCompoDiff，通过组合扩散和能量优化框架，联合优化抓取、交接和运动规划。
  3. 实验结果显示，BiCompoDiff在模拟家庭任务中成功率提高20%以上，轨迹平滑度提升37%。

📝 摘要（中文）

双手物体重新定向是指在无法直接放置物体的情况下，通过抓取、交接和放置来实现目标姿态的过程。为此，本文提出了BiCompoDiff，一个基于组合扩散和能量优化的框架，能够在多重约束下联合优化抓取选择、交接、重新抓取和运动规划。该方法结合了预训练的抓取扩散模型与双手规划的能量基础模型，通过反向扩散过程中的梯度引导来确保避免碰撞、轨迹平滑性、交接可行性和重新抓取安全性。实验表明，BiCompoDiff在多种家庭场景的重新定向任务中，成功率提高超过20%，轨迹平滑度提升高达37%。

🔬 方法详解

问题定义：本文旨在解决双手物体重新定向中的多重目标优化问题，现有方法在处理碰撞、运动约束和最终姿态时存在不足。

核心思路：BiCompoDiff框架通过结合预训练的抓取扩散模型与能量基础模型，利用梯度引导优化过程，确保在反向扩散中满足多重约束。

技术框架：该方法包括抓取选择、交接、重新抓取和运动规划四个主要模块，采用组合扩散与能量优化的方式进行联合优化。

关键创新：最重要的创新在于将扩散模型与能量基础模型结合，通过梯度引导实现碰撞避免和轨迹平滑，显著提升了双手物体重新定向的效果。

关键设计：在设计中，采用了退火马尔可夫链蒙特卡洛（MCMC）采样来进一步优化抓取姿态，并在损失函数中引入了多重约束以确保安全性和可行性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，BiCompoDiff在多种家庭场景的重新定向任务中，成功率提高超过20%，轨迹平滑度提升高达37%。与强基线方法相比，表现出更优的性能，验证了其在复杂场景中的有效性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在服务机器人、自动化仓储和智能家居等领域。通过提高双手物体重新定向的效率和安全性，可以显著提升机器人在复杂环境中的操作能力，推动智能机器人技术的实际应用和发展。

📄 摘要（原文）

Bimanual object reorientation - picking an object, handing it over between two arms, and placing it in a desired target pose - is valuable when direct placement from the initial grasp is infeasible due to collisions, kinematic constraints, or poor final orientation. However, achieving this under multiple competing objectives remains challenging. We introduce BiCompoDiff, a compositional diffusion and energy-based framework that jointly optimizes grasp selection, handover, regrasp, and motion planning under multiple constraints. By combining a pretrained grasp diffusion model with bimanual planning energy-based models (EBMs), our method injects gradient guidance during reverse diffusion to enforce collision avoidance, trajectory smoothness (via differentiable inverse kinematics), handover feasibility, and regrasp safety. Annealed MCMC sampling further refines grasp poses over the composite energy landscape. Experiments across diverse simulated household reorientation tasks demonstrate that BiCompoDiff achieves over 20% higher success rates and up to 37% smoother trajectories (measured by joint displacement) compared to strong sampling-based baselines. Real-world validation confirms effective sim-to-real transfer and robust performance on challenging scenes.