Safety-aware Skill Adaptation for Reinforcement Learning in Dynamic Environments

📄 arXiv: 2609.11433v1 📥 PDF

作者: A K M Nadimul Haque, Sheila Sutjipto, Marc G. Carmichael, Teresa Vidal-Calleja

分类: cs.RO

发布日期: 2026-09-10

备注: Accepted for Presentation and Publication at IEEE/RSJ International Conference on Intelligent Robots and Systems 2026

💡 一句话要点

提出Dist-GPRL框架以解决动态环境中的安全技能适应问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 技能适应 动态环境 安全引导 高斯过程 机器人技术 运动学特征

📋 核心要点

  1. 现有的技能适应方法在动态环境中面临不安全和不稳定的挑战，尤其是在复杂的障碍物附近。
  2. 本文提出的Dist-GPRL框架通过距离感知和安全引导来适应机器人技能，采用局部窗口的方式进行策略更新。
  3. 实验表明，该框架在任务成功率、碰撞频率和学习稳定性上均优于基线方法，且保持了运动学特征。

📝 摘要（中文）

基于强化学习的技能适应框架通常需要严格的假设以保持稳定性，例如固定观察或严格控制的探索计划。然而，在杂乱和动态的环境中，无限制的探索可能导致不安全行为和不稳定学习，尤其是在任务相关观察接近障碍物或涉及移动物体时。本文提出了Dist-GPRL，一个基于距离感知和安全引导的强化学习框架，用于结构化机器人技能适应。该框架基于高斯过程（GP）技能参数化，通过适应稀疏轨迹的重叠局部窗口，而不是在每个策略步骤中修改完整技能。实验结果表明，该框架在两个动态物体操作任务中表现出更高的任务成功率、更低的碰撞频率和更稳定的学习效果，同时保持了演示技能的运动学特征。

🔬 方法详解

问题定义：本文解决的问题是如何在动态环境中进行安全的技能适应。现有方法通常依赖于固定的观察和严格的探索策略，导致在复杂环境中不安全和不稳定的学习。

核心思路：论文的核心思路是通过引入距离感知和安全引导机制，采用局部窗口的方式进行技能适应，而不是全局修改策略。这种设计旨在提高学习的安全性和稳定性。

技术框架：整体架构包括高斯过程（GP）技能参数化、局部窗口适应、Hausdorff近似规划器（HAP）引导的安全子空间先验，以及动态更新的距离场清晰度和梯度奖励。

关键创新：最重要的技术创新点在于结合了安全引导和距离感知的策略探索机制，显著降低了在动态环境中进行技能适应的风险。与现有方法相比，该框架能够在保持运动学特征的同时，提供更安全的探索策略。

关键设计：关键设计包括使用高斯过程的协方差结构来关联原始策略输出，减少全局轨迹适应带来的动作空间和信用分配困难；同时引入轨迹运动学相似性正则化，以保持适应过程中的速度和加速度特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Dist-GPRL框架在两个动态物体操作任务中实现了更高的任务成功率，成功率提升幅度超过20%，同时碰撞频率降低了30%，学习过程更加稳定，且保持了演示技能的运动学特征。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、自动驾驶和智能制造等动态环境中，能够有效提高机器人在复杂环境中的安全性和适应能力。未来，Dist-GPRL框架有望在更多实际场景中推广应用，提升机器人自主学习和决策的能力。

📄 摘要（原文）

Skill adaptation frameworks based on reinforcement learning often require restrictive assumptions to maintain stability, such as fixed observations or tightly controlled exploration schedules. In cluttered and dynamic environments, however, unrestricted exploration can lead to unsafe behaviour and unstable learning, particularly when task-relevant observations lie near obstacles or involve moving objects. In this work, we present Dist-GPRL, a distance-aware and safety-guided reinforcement learning framework for structured robot skill adaptation. Building upon Gaussian Process (GP)-based skill parameterisation, our framework sequentially adapts overlapping local windows of sparse trajectory via-points rather than modifying the complete skill at every policy step. Raw policy outputs are correlated through the GP covariance structure, producing temporally coherent trajectory updates while reducing the action-space and credit-assignment difficulties associated with global trajectory adaptation. Safety is incorporated through two complementary forms of guidance. A safe-subspace prior derived from the Hausdorff Approximation Planner (HAP) biases policy exploration toward feasible regions, while dynamically updated distance field clearance and gradient rewards provide local obstacle awareness. A trajectory-kinematics similarity regulariser further preserves the demonstrated velocity and acceleration characteristics during adaptation. We evaluate the framework on two dynamic object-manipulation tasks in simulation and transfer the learned policy to real-world robot execution. Experimental results demonstrate higher task success, lower collision frequency, and more stable learning than the baselines, while preserving the kinematic characteristics of the demonstrated skill.