Learning Coordinated Bimanual Manipulation Policies using State Diffusion and Inverse Dynamics Models
作者: Haonan Chen, Jiaming Xu, Lily Sheng, Tianchen Ji, Shuijing Liu, Yunzhu Li, Katherine Driggs-Campbell
分类: cs.RO, cs.AI
发布日期: 2025-03-30
备注: Project Page: https://haonan16.github.io/coord_bimanual_page/. 12 pages, 12 figures, Accepted at ICRA 2025
💡 一句话要点
提出基于状态扩散和逆动力学模型的双臂协同操作策略学习方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 双臂协同操作 模仿学习 状态扩散模型 逆动力学模型 机器人控制 可变形物体 多模态目标
📋 核心要点
- 现有机器人双臂协同操作方法难以建模物体运动、预测未来状态和生成精确动作。
- 论文提出一种基于状态扩散和逆动力学模型的模仿学习框架，解耦状态转移和逆动力学建模。
- 实验表明，该方法在模拟和真实环境中均优于现有方法，能处理多模态目标和可变形对象。
📝 摘要（中文）
在洗衣等任务中，人类自然地协调双手来操作物体，并预测其行为如何改变衣物的状态。然而，由于需要对物体运动进行建模、预测未来状态以及生成精确的双臂动作，因此在机器人中实现这种协调仍然具有挑战性。本文通过将人类操作策略的预测特性融入到机器人模仿学习中来解决这些挑战。具体而言，我们将任务相关的状态转移与特定于智能体的逆动力学建模分离，以实现有效的双臂协调。利用演示数据集，我们训练一个扩散模型来预测给定历史观测的未来状态，从而设想场景如何演变。然后，我们使用逆动力学模型来计算实现预测状态的机器人动作。我们的关键见解是，对物体运动进行建模有助于学习双臂协同操作任务的策略。通过在各种模拟和真实世界的操作设置中评估我们的框架，包括多模态目标配置、双臂操作、可变形对象和多对象设置，我们发现它始终优于最先进的状态到动作映射策略。我们的方法展示了在多模态目标配置和动作分布中导航、在不同控制模式下保持稳定性以及合成比演示数据集中存在的更广泛行为的卓越能力。
🔬 方法详解
问题定义：现有机器人双臂协同操作方法难以有效建模物体运动，导致无法准确预测未来状态，进而难以生成精确的控制动作。尤其是在处理可变形物体和多目标任务时，这一问题更加突出。现有方法通常依赖于直接的状态到动作的映射，忽略了物体运动的内在规律，限制了策略的泛化能力。
核心思路：论文的核心思路是将任务相关的状态转移与机器人自身的逆动力学建模解耦。通过学习一个状态扩散模型来预测未来状态，从而显式地建模物体运动。然后，利用逆动力学模型计算实现这些预测状态所需的机器人动作。这种解耦使得模型能够更好地理解任务目标，并生成更协调的双臂动作。
技术框架：整体框架包含两个主要模块：状态扩散模型和逆动力学模型。首先，利用演示数据集训练一个状态扩散模型，该模型以历史观测作为输入，预测未来状态的分布。然后，使用逆动力学模型，以当前状态和预测的未来状态作为输入，计算机器人需要执行的动作。在推理阶段，给定初始状态，状态扩散模型预测未来状态，逆动力学模型计算动作，机器人执行动作，循环往复。
关键创新：最重要的技术创新点在于将状态扩散模型引入到双臂协同操作策略学习中，从而显式地建模了物体运动。与直接学习状态到动作的映射相比，这种方法能够更好地捕捉任务的内在结构，并生成更鲁棒和泛化的策略。此外，解耦状态转移和逆动力学建模也使得模型更容易学习和优化。
关键设计：状态扩散模型采用U-Net结构，以历史状态作为条件，预测未来状态的噪声。逆动力学模型采用神经网络，以当前状态和预测的未来状态作为输入，输出机器人关节的控制力矩。损失函数包括状态预测误差和动作执行误差。在训练过程中，使用数据增强技术来提高模型的泛化能力。具体参数设置（如网络层数、学习率等）未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在模拟和真实世界的各种双臂操作任务中均优于现有方法。例如，在洗衣任务中，该方法能够成功处理多模态目标配置和可变形对象，并生成更协调的双臂动作。与基线方法相比，该方法在任务成功率和动作效率方面均有显著提升。具体提升幅度未知。
🎯 应用场景
该研究成果可应用于各种需要双臂协同操作的机器人任务，例如：家庭服务机器人执行洗衣、叠衣服等任务；工业机器人进行装配、搬运等操作；医疗机器人辅助手术等。通过学习人类的操作策略，机器人能够更智能、更高效地完成复杂任务，提高生产效率和服务质量。未来，该方法有望扩展到更多类型的机器人和更复杂的任务场景。
📄 摘要（原文）
When performing tasks like laundry, humans naturally coordinate both hands to manipulate objects and anticipate how their actions will change the state of the clothes. However, achieving such coordination in robotics remains challenging due to the need to model object movement, predict future states, and generate precise bimanual actions. In this work, we address these challenges by infusing the predictive nature of human manipulation strategies into robot imitation learning. Specifically, we disentangle task-related state transitions from agent-specific inverse dynamics modeling to enable effective bimanual coordination. Using a demonstration dataset, we train a diffusion model to predict future states given historical observations, envisioning how the scene evolves. Then, we use an inverse dynamics model to compute robot actions that achieve the predicted states. Our key insight is that modeling object movement can help learning policies for bimanual coordination manipulation tasks. Evaluating our framework across diverse simulation and real-world manipulation setups, including multimodal goal configurations, bimanual manipulation, deformable objects, and multi-object setups, we find that it consistently outperforms state-of-the-art state-to-action mapping policies. Our method demonstrates a remarkable capacity to navigate multimodal goal configurations and action distributions, maintain stability across different control modes, and synthesize a broader range of behaviors than those present in the demonstration dataset.