Learning Autonomous Docking Operation of Fully Actuated Autonomous Surface Vessel from Expert data
作者: Akash Vijayakumar, Atmanand M A, Abhilash Somayajula
分类: cs.RO
发布日期: 2024-11-12
备注: 5 pages, 8 figures, IEEE Oceans Halifax 2024 Conference, Presented in September 2024 in IEEE Oceans Conference in Halifax, Canada as a Student Poster
💡 一句话要点
提出基于逆强化学习的自主水面船只停靠方法，从专家数据中学习
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 自主水面船只 自主停靠 逆强化学习 模仿学习 运动规划
📋 核心要点
- 现有自主水面船只停靠方法在复杂环境适应性和模仿人类专家策略方面存在不足。
- 利用逆强化学习从专家轨迹中学习奖励函数，结合环境感知和车辆运动学信息，实现类人停靠。
- 仿真实验验证了该方法在不同环境配置下生成高质量停靠轨迹的有效性。
📝 摘要（中文）
本文提出了一种利用专家演示数据实现全驱动自主水面船只自主停靠的方法。我们将停靠问题建模为模仿学习任务，并采用逆强化学习（IRL）从专家轨迹中学习奖励函数。实现了一个两阶段神经网络架构，将来自传感器的环境上下文和车辆运动学信息融入到奖励函数中。然后，将学习到的奖励与运动规划器一起使用，以生成停靠轨迹。仿真实验表明，该方法能够有效地生成类似人类的停靠行为，并适用于不同的环境配置。
🔬 方法详解
问题定义：论文旨在解决全驱动自主水面船只在复杂环境下的自主停靠问题。现有方法可能难以适应变化的环境条件，并且难以模仿人类专家的平滑、高效的停靠策略。因此，如何使自主船只能够像人类驾驶员一样，根据环境信息灵活调整停靠轨迹，是一个重要的挑战。
核心思路：论文的核心思路是利用逆强化学习（IRL）从人类专家的停靠轨迹中学习一个奖励函数。这个奖励函数能够反映专家在不同环境状态下采取行动的偏好。通过最大化这个奖励函数，自主船只可以学习到与专家相似的停靠策略。这种方法避免了直接对专家策略进行建模，而是学习其内在的奖励机制，从而提高了泛化能力。
技术框架：整体框架包含以下几个主要模块：1) 专家数据收集：收集人类专家在不同环境下的停靠轨迹数据。2) 奖励函数学习：使用逆强化学习算法，从专家数据中学习一个奖励函数。该奖励函数由一个两阶段神经网络实现，第一阶段处理环境传感器数据，第二阶段处理车辆运动学数据。3) 运动规划：使用运动规划器，例如RRT，结合学习到的奖励函数，生成最优的停靠轨迹。4) 轨迹执行*：控制自主船只沿着规划的轨迹进行停靠。
关键创新：该论文的关键创新在于将逆强化学习应用于自主水面船只的停靠问题，并设计了一个两阶段神经网络来融合环境感知和车辆运动学信息。与传统的基于规则或优化的方法相比，该方法能够更好地模仿人类专家的行为，并且具有更强的适应性。此外，两阶段神经网络的设计使得奖励函数能够更有效地利用不同类型的信息。
关键设计：奖励函数采用两阶段神经网络结构。第一阶段网络接收环境传感器数据（例如，目标位置、障碍物位置等），并输出一个环境特征向量。第二阶段网络接收环境特征向量和车辆运动学数据（例如，位置、速度、姿态等），并输出一个奖励值。损失函数通常采用最大熵IRL中的损失函数，鼓励学习到的策略与专家策略尽可能接近，同时保持策略的多样性。运动规划器可以使用RRT*等算法，以学习到的奖励函数作为成本函数，生成最优的停靠轨迹。
🖼️ 关键图片
📊 实验亮点
仿真实验表明，该方法能够生成类似人类的停靠行为，并且在不同的环境配置下都表现出良好的性能。虽然论文中没有给出具体的性能指标，但强调了该方法在模仿人类专家策略方面的优势。未来的工作可以进一步量化该方法的性能，并与其他基线方法进行比较。
🎯 应用场景
该研究成果可应用于港口自动化、海上救援、水面巡逻等领域。通过学习人类专家的驾驶经验，自主水面船只可以在复杂环境中安全、高效地完成停靠任务，降低人工成本，提高作业效率。未来，该技术还可以扩展到其他类型的自主船舶，例如无人潜航器和无人驾驶游艇。
📄 摘要（原文）
This paper presents an approach for autonomous docking of a fully actuated autonomous surface vessel using expert demonstration data. We frame the docking problem as an imitation learning task and employ inverse reinforcement learning (IRL) to learn a reward function from expert trajectories. A two-stage neural network architecture is implemented to incorporate both environmental context from sensors and vehicle kinematics into the reward function. The learned reward is then used with a motion planner to generate docking trajectories. Experiments in simulation demonstrate the effectiveness of this approach in producing human-like docking behaviors across different environmental configurations.