Logic-Skill Programming: An Optimization-based Approach to Sequential Skill Planning
作者: Teng Xue, Amirreza Razmjoo, Suhan Shetty, Sylvain Calinon
分类: cs.RO
发布日期: 2024-05-07 (更新: 2024-07-16)
备注: In Proc. Robotics: Science and Systems (RSS), 2024
💡 一句话要点
提出Logic-Skill Programming，通过优化方法实现机器人序列技能规划，解决长时程任务。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人技能规划 序列技能学习 优化方法 价值函数 张量链分解
📋 核心要点
- 现有机器人技能学习方法难以确定独立学习技能的最优序列，尤其是在目标仅以最终几何配置而非符号目标给出的情况下。
- Logic-Skill Programming (LSP) 采用基于优化的方法，通过优化技能的累积奖励来规划技能序列，解决长时程任务。
- 实验结果表明，LSP 获得的价值函数比现有强化学习方法更好地近似累积奖励，并在真实机器人实验中验证了其有效性。
📝 摘要（中文）
本文提出了一种名为Logic-Skill Programming (LSP) 的优化方法，用于对独立学习的机器人技能进行序列规划，以解决长时程任务。该方法旨在优化规划中所有技能的累积奖励，目标函数由价值函数的总和表示。LSP采用一阶数学规划扩展，并利用张量链分解构建价值函数空间。通过符号搜索和技能价值优化之间的交替迭代，寻找合适的技能骨架和最优子目标序列。实验结果表明，与现有强化学习方法相比，所获得的价值函数能更好地近似累积奖励。LSP在包含抓取和非抓取操作的三个操作任务中验证了其有效性，证明了其在逻辑和几何路径上找到最优解的能力。真实机器人实验也验证了该方法在应对接触不确定性和外部干扰方面的有效性。
🔬 方法详解
问题定义：论文旨在解决机器人技能规划问题，即如何对一系列独立学习的技能进行排序和组合，以完成复杂的长时程任务。现有方法的痛点在于，当目标仅以最终几何配置给出时，难以确定最优的技能序列。此外，现有方法在处理接触不确定性和外部干扰方面存在不足。
核心思路：论文的核心思路是将技能规划问题建模为一个优化问题，通过最大化所有技能的累积奖励来寻找最优的技能序列。这种方法将技能的价值函数作为优化目标，并通过符号搜索和技能价值优化之间的交替迭代来寻找最优解。这种设计允许在逻辑层面（技能序列）和几何层面（技能参数）同时进行优化。
技术框架：LSP的技术框架主要包含以下几个模块：1) 技能库：包含一系列独立学习的机器人技能，每个技能都有相应的价值函数。2) 价值函数构建：利用张量链分解构建价值函数空间，用于近似技能的累积奖励。3) 符号搜索：在技能库中搜索可能的技能序列，生成技能骨架。4) 技能价值优化：对技能骨架中的技能参数进行优化，最大化累积奖励。5) 交替迭代：在符号搜索和技能价值优化之间进行交替迭代，直到找到最优的技能序列和参数。
关键创新：LSP的关键创新在于将技能规划问题建模为一个优化问题，并利用张量链分解构建价值函数空间。这种方法允许在逻辑层面和几何层面同时进行优化，从而找到最优的技能序列和参数。此外，LSP还提出了一种交替迭代的优化策略，可以有效地搜索最优解。与现有方法相比，LSP能够更好地近似累积奖励，并在处理接触不确定性和外部干扰方面表现出更强的鲁棒性。
关键设计：论文中关键的设计包括：1) 价值函数的构建方式，采用张量链分解来降低计算复杂度。2) 优化目标的设定，即最大化所有技能的累积奖励。3) 交替迭代的优化策略，通过符号搜索和技能价值优化之间的交替迭代来寻找最优解。具体的参数设置和损失函数等技术细节在论文中没有详细描述，属于未知信息。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LSP方法获得的价值函数能够比现有强化学习方法更好地近似累积奖励。在三个操作任务中验证了LSP的有效性，包括抓取和非抓取操作。真实机器人实验表明，LSP能够有效地应对接触不确定性和外部干扰。具体的性能数据和提升幅度在摘要中没有明确给出，属于未知信息。
🎯 应用场景
该研究成果可应用于各种机器人操作任务，例如装配、抓取、操作工具等。通过构建技能库和利用LSP进行技能规划，可以使机器人能够自主完成复杂的任务，提高生产效率和自动化水平。此外，该方法还可以应用于服务机器人领域，例如家庭服务、医疗辅助等，使机器人能够更好地理解和执行人类指令。
📄 摘要（原文）
Recent advances in robot skill learning have unlocked the potential to construct task-agnostic skill libraries, facilitating the seamless sequencing of multiple simple manipulation primitives (aka. skills) to tackle significantly more complex tasks. Nevertheless, determining the optimal sequence for independently learned skills remains an open problem, particularly when the objective is given solely in terms of the final geometric configuration rather than a symbolic goal. To address this challenge, we propose Logic-Skill Programming (LSP), an optimization-based approach that sequences independently learned skills to solve long-horizon tasks. We formulate a first-order extension of a mathematical program to optimize the overall cumulative reward of all skills within a plan, abstracted by the sum of value functions. To solve such programs, we leverage the use of tensor train factorization to construct the value function space, and rely on alternations between symbolic search and skill value optimization to find the appropriate skill skeleton and optimal subgoal sequence. Experimental results indicate that the obtained value functions provide a superior approximation of cumulative rewards compared to state-of-the-art reinforcement learning methods. Furthermore, we validate LSP in three manipulation domains, encompassing both prehensile and non-prehensile primitives. The results demonstrate its capability to identify the optimal solution over the full logic and geometric path. The real-robot experiments showcase the effectiveness of our approach to cope with contact uncertainty and external disturbances in the real world.