Reinforcement Learning of Flexible Policies for Symbolic Instructions with Adjustable Mapping Specifications

📄 arXiv: 2501.18848v1 📥 PDF

作者: Wataru Hatanaka, Ryota Yamashina, Takamitsu Matsubara

分类: cs.RO

发布日期: 2025-01-31

备注: 8 pages, Accepted by IEEE Robotics and Automation Letters (RA-L)

💡 一句话要点

提出SIAMS框架，通过可调节映射规范增强RL在符号指令任务中的灵活性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 符号指令 机器人 任务规划 线性时序逻辑

📋 核心要点

  1. 现有方法在符号指令强化学习中通常采用固定的环境状态到符号的映射，缺乏灵活性，难以应对复杂任务。
  2. SIAMS通过分离表示符号指令和映射规范，并结合规范感知的状态调制和任务课程学习，实现了对灵活符号映射的学习。
  3. 实验结果表明，SIAMS在3D仿真环境中优于现有的上下文感知多任务强化学习方法，验证了其有效性。

📝 摘要（中文）

本文提出了一种名为“具有可调节映射规范的符号指令”（SIAMS）的强化学习方法，旨在解决机器人执行符号指令时，环境状态到符号的映射需要灵活调整的问题，尤其是在需要从多个角度评估设备状态的检查任务中。SIAMS将符号指令及其映射规范分离表示，使策略能够学习符号指令和映射规范的组合。为了提高学习效率，SIAMS采用了一种规范感知的状态调制方法，将映射规范的差异嵌入到状态特征中，并设计了一种基于符号数量的任务课程，根据学习进度逐步提供任务。在离散和连续动作空间的3D仿真实验中，SIAMS优于上下文感知的多任务强化学习方法。

🔬 方法详解

问题定义：现有的符号指令强化学习方法通常采用固定的环境状态到符号的映射，这在需要灵活调整映射关系的复杂任务中表现不足。例如，在检查任务中，机器人需要从不同的状态评估相同的符号，以避免遗漏错误。因此，如何使机器人能够响应灵活的符号映射是一个关键问题。

核心思路：本文的核心思路是将符号指令及其映射规范分离表示，从而使强化学习策略能够学习符号指令和映射规范的各种组合。通过这种方式，策略可以根据不同的映射规范，从不同的环境状态中识别相同的符号，从而实现灵活的符号指令执行。

技术框架：SIAMS框架主要包含以下几个模块：1) 符号指令表示模块，使用线性时序逻辑（LTL）表示符号指令；2) 状态调制模块，该模块根据当前的映射规范调整状态特征，使策略能够区分不同的映射规范；3) 强化学习策略模块，该模块学习在给定状态和符号指令的情况下，选择合适的动作；4) 任务课程模块，该模块根据学习进度，逐步提供更复杂的任务，以提高学习效率。整体流程是，首先将LTL指令和环境状态输入到状态调制模块，生成调制后的状态特征，然后将调制后的状态特征和LTL指令输入到强化学习策略模块，选择动作并执行，最后根据环境反馈更新策略。

关键创新：SIAMS的关键创新在于：1) 将符号指令和映射规范分离表示，实现了对灵活符号映射的学习；2) 提出了规范感知的状态调制方法，将映射规范的差异嵌入到状态特征中，使策略能够区分不同的映射规范；3) 设计了基于符号数量的任务课程，根据学习进度逐步提供任务，提高了学习效率。与现有方法的本质区别在于，SIAMS能够处理灵活的符号映射，而现有方法只能处理固定的符号映射。

关键设计：状态调制模块使用一个神经网络将映射规范编码成一个向量，然后将该向量与状态特征进行拼接或相乘，从而实现状态特征的调制。任务课程模块根据当前学习的符号数量，逐步增加任务的复杂度。例如，先学习只包含一个符号的任务，然后学习包含两个符号的任务，以此类推。损失函数采用标准的强化学习损失函数，如PPO或DQN。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在3D仿真环境中，SIAMS在离散和连续动作空间中均优于上下文感知的多任务强化学习方法。具体来说，在离散动作空间中，SIAMS的平均奖励比基线方法高出约20%。在连续动作空间中，SIAMS的学习速度更快，并且能够达到更高的性能水平。这些结果验证了SIAMS在处理灵活符号指令任务方面的有效性。

🎯 应用场景

SIAMS框架可应用于各种需要灵活符号指令的机器人任务，例如：智能巡检、柔性制造、人机协作等。在智能巡检中，机器人可以根据不同的设备状态和检查标准，灵活地执行检查任务。在柔性制造中，机器人可以根据不同的产品规格和生产流程，灵活地调整生产动作。在人机协作中，机器人可以根据人的指令和环境变化，灵活地完成协作任务。该研究有助于提高机器人的智能化水平和适应能力，促进机器人技术的广泛应用。

📄 摘要（原文）

Symbolic task representation is a powerful tool for encoding human instructions and domain knowledge. Such instructions guide robots to accomplish diverse objectives and meet constraints through reinforcement learning (RL). Most existing methods are based on fixed mappings from environmental states to symbols. However, in inspection tasks, where equipment conditions must be evaluated from multiple perspectives to avoid errors of oversight, robots must fulfill the same symbol from different states. To help robots respond to flexible symbol mapping, we propose representing symbols and their mapping specifications separately within an RL policy. This approach imposes on RL policy to learn combinations of symbolic instructions and mapping specifications, requiring an efficient learning framework. To cope with this issue, we introduce an approach for learning flexible policies called Symbolic Instructions with Adjustable Mapping Specifications (SIAMS). This paper represents symbolic instructions using linear temporal logic (LTL), a formal language that can be easily integrated into RL. Our method addresses the diversified completion patterns of instructions by (1) a specification-aware state modulation, which embeds differences in mapping specifications in state features, and (2) a symbol-number-based task curriculum, which gradually provides tasks according to the learning's progress. Evaluations in 3D simulations with discrete and continuous action spaces demonstrate that our method outperforms context-aware multitask RL comparisons.