Deep Reinforcement Learning-based Obstacle Avoidance for Robot Movement in Warehouse Environments

📄 arXiv: 2409.14972v1 📥 PDF

作者: Keqin Li, Jiajing Chen, Denzhi Yu, Tao Dajun, Xinyu Qiu, Lian Jieting, Sun Baiwei, Zhang Shengyuan, Zhenyu Wan, Ran Ji, Bo Hong, Fanghao Ni

分类: cs.RO, cs.AI

发布日期: 2024-09-23

💡 一句话要点

提出基于深度强化学习的仓库机器人避障算法，提升复杂环境下避障能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 深度强化学习 机器人避障 仓库环境 行人交互 注意力机制

📋 核心要点

  1. 传统移动机器人在复杂仓库环境中，难以有效应对货物堆积和行人交互带来的避障挑战。
  2. 该方法通过行人交互信息提取和注意力机制，改进价值函数网络，提升机器人对环境的感知和决策能力。
  3. 仿真实验验证了该算法在复杂仓库环境中的可行性，能够有效提升机器人的避障性能。

📝 摘要（中文）

针对当前仓库环境中货物堆积复杂，传统移动机器人难以对货物和行人做出有效避障策略的问题，本文提出了一种基于深度强化学习的仓库移动机器人避障算法。该算法改进了深度强化学习中价值函数网络的学习能力，通过行人角度网格提取行人间的交互信息，并利用注意力机制提取个体行人的时间特征，从而学习到当前状态和历史轨迹状态的相对重要性以及它们对机器人避障策略的联合影响。此外，基于行人的空间行为设计了强化学习的奖励函数，对角度变化过大的状态进行惩罚，以实现舒适的避障。仿真实验验证了该算法在复杂仓库环境中可行性和有效性。

🔬 方法详解

问题定义：论文旨在解决仓库环境中移动机器人避障问题，现有方法难以有效应对复杂货物堆积和行人交互场景，导致避障策略不佳，影响效率和安全性。传统方法无法很好地提取行人间的交互信息以及行人的历史轨迹信息，导致机器人无法做出合理的避障决策。

核心思路：论文的核心思路是利用深度强化学习，通过改进价值函数网络和设计合适的奖励函数，使机器人能够学习到在复杂仓库环境中高效且舒适的避障策略。通过提取行人间的交互信息和个体行人的时间特征，使机器人能够更好地理解环境，从而做出更合理的决策。

技术框架：该算法主要包含以下几个模块：1) 行人交互信息提取模块，利用行人角度网格提取行人间的交互信息；2) 行人时间特征提取模块，利用注意力机制提取个体行人的时间特征；3) 改进的价值函数网络，用于评估状态-动作对的价值；4) 基于行人空间行为设计的奖励函数，用于指导机器人的学习过程。整体流程是：机器人根据当前状态选择动作，环境反馈奖励和下一个状态，机器人利用这些信息更新价值函数网络，从而不断优化避障策略。

关键创新：论文的关键创新在于：1) 提出了基于行人角度网格的行人交互信息提取方法，能够有效捕捉行人间的空间关系；2) 利用注意力机制提取个体行人的时间特征，使机器人能够感知行人的历史轨迹信息；3) 基于行人空间行为设计了奖励函数，鼓励机器人采取舒适的避障策略。

关键设计：在行人角度网格中，将机器人周围划分成多个扇形区域，统计每个区域内的行人数量，从而得到行人分布信息。注意力机制采用Transformer结构，用于提取行人历史轨迹中的重要特征。奖励函数的设计考虑了机器人与行人之间的距离、角度变化等因素，对距离过近或角度变化过大的状态进行惩罚。

📊 实验亮点

该论文通过仿真实验验证了所提算法的有效性。实验结果表明，该算法能够使机器人在复杂仓库环境中安全有效地避开障碍物和行人，与传统方法相比，能够显著提高避障的舒适性和效率。具体的性能数据和对比基线在摘要中未提及，属于未知信息。

🎯 应用场景

该研究成果可应用于智能仓储、AGV（自动导引车）等领域，提升机器人在复杂动态环境中的自主导航和避障能力。通过优化机器人的运动轨迹，提高仓库运营效率，降低安全风险。未来可进一步扩展到其他服务机器人应用场景，如商场、医院等。

📄 摘要（原文）

At present, in most warehouse environments, the accumulation of goods is complex, and the management personnel in the control of goods at the same time with the warehouse mobile robot trajectory interaction, the traditional mobile robot can not be very good on the goods and pedestrians to feed back the correct obstacle avoidance strategy, in order to control the mobile robot in the warehouse environment efficiently and friendly to complete the obstacle avoidance task, this paper proposes a deep reinforcement learning based on the warehouse environment, the mobile robot obstacle avoidance Algorithm. Firstly, for the insufficient learning ability of the value function network in the deep reinforcement learning algorithm, the value function network is improved based on the pedestrian interaction, the interaction information between pedestrians is extracted through the pedestrian angle grid, and the temporal features of individual pedestrians are extracted through the attention mechanism, so that we can learn to obtain the relative importance of the current state and the historical trajectory state as well as the joint impact on the robot's obstacle avoidance strategy, which provides an opportunity for the learning of multi-layer perceptual machines afterwards. Secondly, the reward function of reinforcement learning is designed based on the spatial behaviour of pedestrians, and the robot is punished for the state where the angle changes too much, so as to achieve the requirement of comfortable obstacle avoidance; Finally, the feasibility and effectiveness of the deep reinforcement learning-based mobile robot obstacle avoidance algorithm in the warehouse environment in the complex environment of the warehouse are verified through simulation experiments.