A POMDP-based hierarchical planning framework for manipulation under pose uncertainty
作者: Muhammad Suhail Saleem, Rishi Veerapaneni, Maxim Likhachev
分类: cs.RO
发布日期: 2024-09-27
备注: Under review (2025 IEEE International Conference on Robotics & Automation)
💡 一句话要点
提出基于POMDP的分层规划框架，解决位姿不确定性下的机器人操作任务
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: POMDP 分层规划 位姿不确定性 机器人操作 接触感知
📋 核心要点
- 家庭环境中，视觉反馈受限，机器人难以定位被遮挡物体或黑暗中的开关，利用接触信号进行定位是有效手段，但存在位姿不确定性。
- 论文提出基于POMDP的分层规划框架，首先在3D体空间粗略表示不确定性，然后转换到粒子空间进行精细化，实现高效规划。
- 实验表明，该框架在真实世界插头插入任务中成功率达93%，相比贪婪算法，解决方案质量提升超过50%，显著加速规划。
📝 摘要（中文）
本文提出了一种在线规划框架，用于解决位姿不确定性下的机器人操作任务，该框架利用二元接触信号。任务被建模为部分可观测马尔可夫决策过程(POMDP)。由于家庭环境中存在较大的不确定性，直接使用粒子集表示置信度会导致规划不可行。为了解决这个问题，我们提出了一种分层置信度表示方法。首先，在3D体空间中粗略地表示不确定性。计算并执行在该空间中细化不确定性的策略。一旦不确定性充分降低，问题就被转换回粒子空间，以便在任务完成前进一步细化。我们利用闭环规划和执行框架，以及基于启发式搜索的随时求解器，在有限的时间预算内计算部分策略。该框架的性能在真实世界和模拟环境中得到了验证，任务是使用UR10e机械臂将插头插入端口，解决高达50厘米的位置不确定性和接近2π的角度不确定性。实验结果表明了该框架的有效性，在真实世界中实现了93%的成功率，并且与贪婪基线相比，解决方案质量提高了50%以上，显著加速了规划，并为复杂问题实现了实时解决方案。
🔬 方法详解
问题定义：论文旨在解决机器人操作任务中，由于位姿不确定性导致的规划难题，尤其是在视觉信息不足的环境下。现有方法，如直接使用粒子滤波进行POMDP规划，在家庭环境中面临巨大的计算量，难以实时求解。这是因为需要对大量的粒子进行动作序列的rollout，计算复杂度极高。
核心思路：论文的核心思路是采用分层置信度表示方法，将规划过程分解为粗略和精细两个阶段。首先，在3D体空间中进行粗略的规划，快速降低位姿的不确定性。然后，将问题转换到粒子空间，进行更精细的规划，最终完成任务。这种分层方法能够有效减少搜索空间，提高规划效率。
技术框架：整体框架包含以下几个主要阶段：1) 初始状态：机器人对目标物体位姿存在较大的不确定性。2) 粗略规划阶段：在3D体空间中表示置信度，利用启发式搜索算法，规划一系列动作，旨在快速降低位姿的不确定性。3) 精细规划阶段：当不确定性降低到一定程度后，将置信度表示转换到粒子空间，进行更精细的规划。4) 闭环执行：在执行过程中，不断根据接触信号更新置信度，并重新规划后续动作。5) 任务完成：成功完成操作任务。
关键创新：该论文的关键创新在于分层置信度表示方法。与传统的直接在粒子空间进行规划的方法相比，该方法能够显著减少搜索空间，提高规划效率。通过先在3D体空间进行粗略规划，快速降低不确定性，然后再在粒子空间进行精细规划，实现了高效的在线规划。
关键设计：论文使用了基于启发式搜索的随时求解器，能够在有限的时间预算内计算出部分策略。具体实现细节包括：1) 3D体空间的离散化粒度。2) 启发式函数的选择，用于指导搜索方向。3) 粒子空间中粒子的数量。4) 闭环控制的频率，以及接触信号的噪声模型。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在真实世界的插头插入任务中取得了显著的性能提升。在UR10e机械臂上，该框架能够成功解决高达50厘米的位置不确定性和接近2π的角度不确定性，并实现了93%的成功率。与贪婪基线相比，该框架的解决方案质量提高了50%以上，并且显著加速了规划过程，实现了实时解决方案。
🎯 应用场景
该研究成果可应用于家庭服务机器人、工业自动化等领域。例如，在家庭环境中，机器人可以利用该框架在光线不足或物体被遮挡的情况下，通过接触感知完成诸如插拔电器、抓取物品等任务。在工业自动化中，该框架可以提高机器人在装配线上的操作精度和效率，尤其是在存在较大位姿不确定性的情况下。
📄 摘要（原文）
Robots often face challenges in domestic environments where visual feedback is ineffective, such as retrieving objects obstructed by occlusions or finding a light switch in the dark. In these cases, utilizing contacts to localize the target object can be effective. We propose an online planning framework using binary contact signals for manipulation tasks with pose uncertainty, formulated as a Partially Observable Markov Decision Process (POMDP). Naively representing the belief as a particle set makes planning infeasible due to the large uncertainties in domestic settings, as identifying the best sequence of actions requires rolling out thousands of actions across millions of particles, taking significant compute time. To address this, we propose a hierarchical belief representation. Initially, we represent the uncertainty coarsely in a 3D volumetric space. Policies that refine uncertainty in this space are computed and executed, and once uncertainty is sufficiently reduced, the problem is translated back into the particle space for further refinement before task completion. We utilize a closed-loop planning and execution framework with a heuristic-search-based anytime solver that computes partial policies within a limited time budget. The performance of the framework is demonstrated both in real world and in simulation on the high-precision task of inserting a plug into a port using a UR10e manipulator, resolving positional uncertainties up to 50 centimeters and angular uncertainties close to $2π$. Experimental results highlight the framework's effectiveness, achieving a 93\% success rate in the real world and over 50\% improvement in solution quality compared to greedy baselines, significantly accelerating planning and enabling real-time solutions for complex problems.