State- and context-dependent robotic manipulation and grasping via uncertainty-aware imitation learning
作者: Tim R. Winter, Ashok M. Sundaram, Werner Friedl, Maximo A. Roa, Freek Stulp, João Silvério
分类: cs.RO, cs.AI, cs.LG
发布日期: 2024-10-31
💡 一句话要点
提出基于不确定性感知模仿学习的状态和上下文相关机器人操作与抓取方法
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 模仿学习 机器人操作 上下文感知 不确定性量化 策略融合
📋 核心要点
- 传统规划和控制算法在处理外部变量（如物体形状）参数化时缺乏灵活性，难以适应复杂环境。
- 利用模仿学习作为函数逼近器的特性，引入外部变量来调节策略，使其能够响应环境变化，实现上下文相关的操作。
- 通过实验验证了该方法在真实机器人上的有效性，包括适应抓取过程中的滑动以及操作可变形物体。
📝 摘要（中文）
本文提出了一种模仿学习(LfD)方法，用于获取上下文相关的抓取和操作策略，旨在解决机器人生成上下文自适应操作和抓取动作的难题。该方法将问题视为基于核的函数逼近，其中核输入包括描述任务相关参数（如对象形状）的通用上下文变量。在现有不确定性量化策略融合工作的基础上，提出了一种状态依赖的方法，该方法能够自动返回到演示数据，避免不可预测的行为，同时平滑地适应上下文变化。通过LASA手写数据集以及真实7自由度机器人上的两个场景（抓取时适应滑动和操作可变形食物）对该方法进行了评估。
🔬 方法详解
问题定义：论文旨在解决机器人操作和抓取任务中，如何根据状态和上下文信息生成自适应动作的问题。现有方法，如传统的规划和控制算法，难以灵活地处理外部变量（如物体形状）的变化，导致泛化能力不足。因此，需要一种能够根据环境变化动态调整策略的方法。
核心思路：论文的核心思路是利用模仿学习（LfD）方法，将机器人操作和抓取策略的学习过程建模为一个函数逼近问题。通过引入上下文变量作为函数输入，使策略能够根据环境信息进行调整。同时，利用不确定性量化来保证策略的安全性，避免在未知状态下产生不可预测的行为。
技术框架：该方法基于核函数逼近框架，整体流程如下：1) 数据收集：通过人工示教或仿真生成包含状态、上下文和动作的演示数据。2) 模型训练：利用核函数学习状态、上下文到动作的映射关系，并估计模型的不确定性。3) 策略执行：在执行过程中，根据当前状态和上下文信息，利用学习到的模型生成动作。同时，根据模型的不确定性，决定是否返回到演示数据，以保证安全性。
关键创新：该方法最重要的创新点在于将不确定性量化引入到模仿学习中，提出了一种状态依赖的策略融合方法。该方法能够根据模型的不确定性，自动地在学习到的策略和演示数据之间进行切换，从而在保证安全性的前提下，实现对上下文变化的平滑适应。与传统的模仿学习方法相比，该方法能够更好地处理未知状态，避免产生不可预测的行为。
关键设计：该方法使用高斯过程回归作为核函数，用于学习状态、上下文到动作的映射关系。不确定性量化通过计算高斯过程的后验方差来实现。策略融合采用加权平均的方式，权重由模型的不确定性和与演示数据的距离决定。损失函数包括动作预测误差和不确定性惩罚项，用于优化模型参数。
🖼️ 关键图片
📊 实验亮点
该方法在LASA手写数据集和真实机器人实验中都取得了良好的效果。在LASA手写数据集上，该方法能够准确地模仿手写轨迹，并对噪声具有较强的鲁棒性。在真实机器人实验中，该方法能够成功地适应抓取过程中的滑动，并完成对可变形食物的操作任务。实验结果表明，该方法能够有效地学习上下文相关的操作策略，并具有较强的泛化能力。
🎯 应用场景
该研究成果可应用于各种需要机器人进行自适应操作和抓取的场景，例如：食品加工、医疗手术、家庭服务等。在食品加工中，机器人可以根据食物的形状和软硬程度调整抓取力度和操作方式；在医疗手术中，机器人可以根据患者的生理结构和手术需求调整操作精度和力度；在家庭服务中，机器人可以根据物品的种类和摆放位置调整抓取姿势和移动轨迹。该研究具有重要的实际应用价值和广阔的未来发展前景。
📄 摘要（原文）
Generating context-adaptive manipulation and grasping actions is a challenging problem in robotics. Classical planning and control algorithms tend to be inflexible with regard to parameterization by external variables such as object shapes. In contrast, Learning from Demonstration (LfD) approaches, due to their nature as function approximators, allow for introducing external variables to modulate policies in response to the environment. In this paper, we utilize this property by introducing an LfD approach to acquire context-dependent grasping and manipulation strategies. We treat the problem as a kernel-based function approximation, where the kernel inputs include generic context variables describing task-dependent parameters such as the object shape. We build on existing work on policy fusion with uncertainty quantification to propose a state-dependent approach that automatically returns to demonstrations, avoiding unpredictable behavior while smoothly adapting to context changes. The approach is evaluated against the LASA handwriting dataset and on a real 7-DoF robot in two scenarios: adaptation to slippage while grasping and manipulating a deformable food item.