AdaptManip: Learning Adaptive Whole-Body Object Lifting and Delivery with Online Recurrent State Estimation

📄 arXiv: 2602.14363v1 📥 PDF

作者: Morgan Byrd, Donghoon Baek, Kartik Garg, Hyunyoung Jung, Daesol Cho, Maks Sorokin, Robert Wright, Sehoon Ha

分类: cs.RO, cs.LG

发布日期: 2026-02-16

备注: Website: https://morganbyrd03.github.io/adaptmanip/

💡 一句话要点

AdaptManip：提出基于在线递归状态估计的自适应全身物体搬运框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 全身运动操作 强化学习 递归状态估计 人形机器人 自主导航

📋 核心要点

  1. 现有基于模仿学习的运动操作方法依赖人工演示，泛化性差，易受干扰。
  2. AdaptManip通过强化学习训练运动操作策略，无需人工数据，提升鲁棒性。
  3. 实验表明，AdaptManip在真实环境中实现了自主导航、物体抓取和搬运，优于基线。

📝 摘要（中文）

本文提出了一种名为AdaptManip的自适应全身运动操作框架，用于实现人形机器人的自主导航、物体抓取和搬运。与以往依赖人工演示且易受干扰的基于模仿学习的方法不同，AdaptManip旨在通过强化学习训练一个鲁棒的运动操作策略，无需人工演示或遥操作数据。该框架包含三个耦合的组件：（1）一个递归物体状态估计器，用于在有限视野和遮挡下实时跟踪被操作的物体；（2）一个全身基策略，用于鲁棒的运动，并带有残差操作控制，以实现稳定的物体抓取和搬运；（3）一个基于激光雷达的机器人全局位置估计器，提供抗漂移的定位。所有组件都在仿真中使用强化学习进行训练，并在真实硬件上以零样本方式部署。实验结果表明，AdaptManip在适应性和整体成功率方面显著优于包括基于模仿学习的方法在内的基线方法，并且即使在遮挡下，准确的物体状态估计也能提高操作性能。我们进一步展示了人形机器人在真实世界中完全自主的导航、物体抓取和搬运。

🔬 方法详解

问题定义：现有基于模仿学习的全身运动操作方法依赖于大量的人工演示数据，并且在面对真实世界中的干扰和不确定性时，鲁棒性较差。这些方法难以泛化到新的环境和物体，限制了人形机器人在复杂场景中的应用。因此，需要一种能够自主学习、适应性强、无需人工干预的全身运动操作框架。

核心思路：AdaptManip的核心思路是利用强化学习，在仿真环境中训练一个能够自主学习的全身运动操作策略。通过将运动、操作和状态估计三个关键组件进行耦合，并使用递归状态估计器来处理物体状态的不确定性，从而提高了机器人在真实世界中的鲁棒性和适应性。这种方法避免了对人工演示数据的依赖，并允许机器人在与环境交互的过程中不断学习和改进。

技术框架：AdaptManip框架包含三个主要模块：（1）递归物体状态估计器：使用递归神经网络（RNN）来估计被操作物体的状态，即使在有限视野和遮挡情况下也能保持准确的估计。（2）全身基策略：使用强化学习训练一个全身运动策略，该策略能够控制机器人的运动，并提供残差操作控制，以实现稳定的物体抓取和搬运。（3）激光雷达全局位置估计器：使用激光雷达数据进行全局定位，提供抗漂移的机器人位置信息。这三个模块相互耦合，共同完成导航、抓取和搬运任务。

关键创新：AdaptManip的关键创新在于其完全自主的学习方式和耦合的框架设计。与传统的模仿学习方法不同，AdaptManip无需人工演示数据，而是通过强化学习自主探索和学习。此外，将物体状态估计、运动控制和全局定位三个模块紧密耦合，使得机器人能够更好地感知环境，并做出相应的动作。递归状态估计器的使用也提高了在遮挡情况下的物体状态估计精度。

关键设计：递归物体状态估计器使用LSTM网络结构，输入包括机器人的关节角度、力传感器数据和视觉信息。全身基策略使用Actor-Critic算法进行训练，奖励函数的设计考虑了运动的平滑性、物体抓取的稳定性以及任务的完成情况。激光雷达全局位置估计器使用ICP算法进行点云匹配，并使用卡尔曼滤波器进行状态融合。

📊 实验亮点

实验结果表明，AdaptManip在真实环境中实现了完全自主的导航、物体抓取和搬运。与基于模仿学习的基线方法相比，AdaptManip在适应性和整体成功率方面显著提升。即使在物体被部分遮挡的情况下，AdaptManip仍然能够准确地估计物体状态，并成功完成搬运任务。具体性能数据未知，但定性结果表明了该方法的优越性。

🎯 应用场景

AdaptManip技术可应用于物流、仓储、家庭服务等领域，实现人形机器人的自主搬运和操作。例如，在仓库中，机器人可以自主导航、抓取货物并将其放置到指定位置。在家庭环境中，机器人可以帮助人们搬运重物、整理物品。该技术有望提高工作效率、降低人力成本，并改善人们的生活质量。

📄 摘要（原文）

This paper presents Adaptive Whole-body Loco-Manipulation, AdaptManip, a fully autonomous framework for humanoid robots to perform integrated navigation, object lifting, and delivery. Unlike prior imitation learning-based approaches that rely on human demonstrations and are often brittle to disturbances, AdaptManip aims to train a robust loco-manipulation policy via reinforcement learning without human demonstrations or teleoperation data. The proposed framework consists of three coupled components: (1) a recurrent object state estimator that tracks the manipulated object in real time under limited field-of-view and occlusions; (2) a whole-body base policy for robust locomotion with residual manipulation control for stable object lifting and delivery; and (3) a LiDAR-based robot global position estimator that provides drift-robust localization. All components are trained in simulation using reinforcement learning and deployed on real hardware in a zero-shot manner. Experimental results show that AdaptManip significantly outperforms baseline methods, including imitation learning-based approaches, in adaptability and overall success rate, while accurate object state estimation improves manipulation performance even under occlusion. We further demonstrate fully autonomous real-world navigation, object lifting, and delivery on a humanoid robot.