Tactile Aware Dynamic Obstacle Avoidance in Crowded Environment with Deep Reinforcement Learning
作者: Yung Chuen Ng, Qi Wen Shervina Lim, Chun Ye Tan, Zhen Hao Gan, Meng Yee Michael Chuah
分类: cs.RO
发布日期: 2024-06-19 (更新: 2025-08-14)
💡 一句话要点
提出触觉感知的深度强化学习动态避障方法，提升拥挤环境移动机器人导航能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 触觉感知 深度强化学习 动态避障 移动机器人 拥挤环境
📋 核心要点
- 现有移动机器人在拥挤环境中导航时，难以兼顾效率、安全和社交规范，尤其是在激光雷达盲区内。
- 该方法通过增加触觉传感器层，使机器人能够感知与周围物体的接触，从而在近距离内更灵活地移动和避障。
- 通过Pybullet仿真平台，结合ROS和强化学习，训练了一个触觉感知的神经网络模型，实现了动态避障的局部路径规划。
📝 摘要（中文）
本文提出了一种在拥挤环境中运行的移动机器人导航方法，旨在提高其在人群和障碍物中高效导航的能力，同时遵守安全标准和社交礼仪。该问题可归类为局部路径规划和轨迹优化问题。本文提出了一种力传感器阵列，作为触觉层，补充激光雷达的使用，以感知移动机器人附近激光雷达未检测到的物体接触。通过整合触觉层，机器人可以更具冒险性地移动，并可能靠近障碍物或墙壁，并轻轻挤过去。此外，我们通过Pybullet构建了一个仿真平台，集成了机器人操作系统（ROS）和强化学习（RL）。在该平台上训练了一个触觉感知神经网络模型，用于创建基于RL的动态避障局部路径规划器。实验表明，该方法成功地应用于全向移动机器人，使其能够在拥挤环境中以高敏捷性和多功能性进行导航，同时不会对附近的非接触障碍物过于敏感。
🔬 方法详解
问题定义：现有移动机器人在拥挤环境中导航时，依赖激光雷达等传感器进行环境感知，但激光雷达存在盲区，无法感知近距离接触。此外，过度依赖激光雷达可能导致机器人对非接触障碍物过于敏感，影响导航效率。因此，需要一种能够感知近距离接触，并提高导航效率和灵活性的方法。
核心思路：本文的核心思路是引入触觉传感器，作为激光雷达的补充，使机器人能够感知与周围物体的接触。通过触觉感知，机器人可以更准确地判断障碍物的位置和状态，从而在近距离内更灵活地移动和避障。同时，利用强化学习训练一个触觉感知的神经网络模型，实现动态避障的局部路径规划。
技术框架：整体框架包括以下几个主要模块：1) 触觉传感器阵列：用于感知与周围物体的接触；2) 激光雷达：用于感知周围环境；3) 触觉感知神经网络模型：用于根据触觉和激光雷达数据，生成局部路径规划；4) 强化学习训练：用于训练触觉感知神经网络模型；5) 机器人操作系统（ROS）：用于集成各个模块。
关键创新：最重要的技术创新点在于引入了触觉传感器，并将其与激光雷达结合，实现了对近距离接触的感知。与现有方法相比，该方法能够更准确地判断障碍物的位置和状态，从而在近距离内更灵活地移动和避障。此外，利用强化学习训练触觉感知神经网络模型，实现了动态避障的局部路径规划。
关键设计：触觉传感器阵列采用力传感器，用于感知与周围物体的接触力。触觉感知神经网络模型采用卷积神经网络（CNN），用于提取触觉和激光雷达数据的特征。强化学习算法采用Proximal Policy Optimization (PPO)，用于训练触觉感知神经网络模型。奖励函数的设计考虑了安全性、效率和社交规范，包括避免碰撞、尽快到达目标点、避免过于靠近他人等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法能够使机器人在拥挤环境中以高敏捷性和多功能性进行导航，同时不会对附近的非接触障碍物过于敏感。具体而言，机器人能够更靠近障碍物移动，并轻轻挤过去，从而提高了导航效率。此外，该方法还能够使机器人更好地遵守社交规范，例如避免过于靠近他人。
🎯 应用场景
该研究成果可应用于各种需要在拥挤环境中导航的移动机器人，例如：服务机器人、仓储机器人、医疗机器人等。通过提高机器人在拥挤环境中的导航能力，可以提高其工作效率和安全性，并改善用户体验。未来，该技术还可以应用于自动驾驶汽车、无人机等领域。
📄 摘要（原文）
Mobile robots operating in crowded environments require the ability to navigate among humans and surrounding obstacles efficiently while adhering to safety standards and socially compliant mannerisms. This scale of the robot navigation problem may be classified as both a local path planning and trajectory optimization problem. This work presents an array of force sensors that act as a tactile layer to complement the use of a LiDAR for the purpose of inducing awareness of contact with any surrounding objects within immediate vicinity of a mobile robot undetected by LiDARs. By incorporating the tactile layer, the robot can take more risks in its movements and possibly go right up to an obstacle or wall, and gently squeeze past it. In addition, we built up a simulation platform via Pybullet which integrates Robot Operating System (ROS) and reinforcement learning (RL) together. A touch-aware neural network model was trained on it to create an RL-based local path planner for dynamic obstacle avoidance. Our proposed method was demonstrated successfully on an omni-directional mobile robot who was able to navigate in a crowded environment with high agility and versatility in movement, while not being overly sensitive to nearby obstacles-not-in-contact.