AI2STOW: End-to-End Deep Reinforcement Learning to Construct Master Stowage Plans under Demand Uncertainty
作者: Jaike Van Twiller, Djordje Grbic, Rune Møller Jensen
分类: math.OC, cs.AI, cs.LG
发布日期: 2025-04-06
备注: Submitted to a journal
💡 一句话要点
AI2STOW：基于深度强化学习的端到端配载方案生成，解决需求不确定性下的船舶积载问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 深度强化学习 船舶配载计划 需求不确定性 可行性投影 动作掩码
📋 核心要点
- 船舶配载规划是NP-hard问题，传统方法难以应对需求不确定性，且计算效率较低。
- AI2STOW采用端到端深度强化学习，结合可行性投影和动作掩码，优化全局目标和约束。
- 实验表明，AI2STOW在目标性能和计算效率上优于强化学习和随机规划的基线方法。
📝 摘要（中文）
全球经济和环境可持续性依赖于高效可靠的供应链，其中集装箱运输作为一种环境友好的运输方式发挥着关键作用。班轮运输公司力求通过解决配载计划问题来提高运营效率。由于许多复杂的组合因素，配载计划具有挑战性，通常被分解为两个NP-hard子问题：主配载计划和舱位计划。本文提出了AI2STOW，一个端到端的深度强化学习模型，具有可行性投影和动作掩码，用于在需求不确定性下创建具有全局目标和约束的主配载计划，包括成对的块状配载模式。我们的实验结果表明，基于反映实际船舶规模和运营计划范围的模拟实例，AI2STOW在目标性能和计算效率方面优于强化学习和随机规划的基线方法。
🔬 方法详解
问题定义：论文旨在解决船舶主配载计划的制定问题，尤其是在需求不确定的情况下。现有的配载计划方法，如人工规划或传统的优化算法，难以处理大规模、高复杂度的配载问题，并且难以适应动态变化的需求。这些方法通常计算效率低，无法在实际运营中快速生成可行的配载方案。
核心思路：论文的核心思路是利用深度强化学习（DRL）来学习最优的配载策略。通过将配载过程建模为一个马尔可夫决策过程（MDP），DRL智能体可以与环境交互，学习如何在满足各种约束条件（如船舶稳定性、危险品隔离等）的同时，最大化配载效率和利润。这种方法能够自适应地处理需求不确定性，并生成全局优化的配载方案。
技术框架：AI2STOW的技术框架主要包括以下几个模块：1) 状态表示：将船舶的当前配载状态、需求信息等编码为DRL智能体的输入。2) 动作空间：定义智能体可以执行的配载动作，例如将特定类型的集装箱放置在特定的舱位。3) 奖励函数：设计奖励函数来引导智能体学习期望的配载行为，例如，奖励高效利用舱位空间、满足船舶稳定性要求等。4) DRL智能体：使用深度神经网络作为函数逼近器，学习最优的配载策略。5) 可行性投影和动作掩码：用于确保智能体生成的配载方案满足各种约束条件。
关键创新：该论文的关键创新在于将端到端的深度强化学习应用于船舶主配载计划问题，并结合了可行性投影和动作掩码技术。与传统的优化算法相比，DRL方法能够自适应地学习最优策略，无需人工设计复杂的启发式规则。可行性投影和动作掩码则保证了生成的配载方案始终满足各种约束条件，提高了方案的实用性。
关键设计：论文中使用了深度Q网络（DQN）作为DRL智能体的基础架构。状态表示包括船舶的舱位占用情况、集装箱的需求信息等。动作空间定义为将特定类型的集装箱放置在特定舱位。奖励函数的设计考虑了舱位利用率、船舶稳定性、危险品隔离等因素。可行性投影通过检查每个动作是否违反约束条件来确保方案的可行性。动作掩码则用于屏蔽掉不可行的动作，加速学习过程。
🖼️ 关键图片
📊 实验亮点
实验结果表明，AI2STOW在目标性能（例如，舱位利用率、船舶稳定性）和计算效率方面均优于传统的强化学习和随机规划方法。具体而言，AI2STOW能够生成更优的配载方案，并且在更短的时间内完成计算，这对于实际运营具有重要意义。具体的性能提升数据未知，但摘要强调了其优越性。
🎯 应用场景
该研究成果可应用于集装箱班轮运输公司的配载计划优化，提高船舶的装载效率和运营效益，降低运输成本。通过自动化配载流程，可以减少人工干预，提高配载速度和准确性。此外，该方法还可扩展到其他类似的资源分配和调度问题，例如港口堆场管理、仓库货物摆放等。
📄 摘要（原文）
The worldwide economy and environmental sustainability depend on eff icient and reliable supply chains, in which container shipping plays a crucial role as an environmentally friendly mode of transport. Liner shipping companies seek to improve operational efficiency by solving the stowage planning problem. Due to many complex combinatorial aspects, stowage planning is challenging and often decomposed into two NP-hard subproblems: master and slot planning. This article proposes AI2STOW, an end-to-end deep reinforcement learning model with feasibility projection and an action mask to create master plans under demand uncertainty with global objectives and constraints, including paired block stowage patterms. Our experimental results demonstrate that AI2STOW outperforms baseline methods from reinforcement learning and stochastic programming in objective performance and computational efficiency, based on simulated instances reflecting the scale of realistic vessels and operational planning horizons.