Integrating Human Knowledge Through Action Masking in Reinforcement Learning for Operations Research

📄 arXiv: 2504.02662v1 📥 PDF

作者: Mirko Stappert, Bernhard Lutz, Niklas Goby, Dirk Neumann

分类: cs.LG, math.OC

发布日期: 2025-04-03

💡 一句话要点

提出基于动作掩码的强化学习方法，融合人类知识解决运筹优化问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 动作掩码 运筹优化 人机协作 启发式规则

📋 核心要点

  1. 现有强化学习方法在运筹优化问题中应用受限，缺乏用户信任是主要挑战，需要有效融合人类专家知识。
  2. 提出利用动作掩码机制，将人类专家知识（启发式规则）融入强化学习策略，引导模型学习更符合人类期望的决策。
  3. 在涂装车间调度、峰值负荷管理和库存管理等问题上验证，结果表明该方法能显著提升性能，尤其是在受限动作空间中。

📝 摘要（中文）

强化学习为解决运筹学问题提供了一种有效的方法。然而，由于缺乏用户接受度和信任，其在现实世界中的应用经常失败。一个可能的补救措施是为管理者提供通过结合人类专家知识来改变强化学习策略的可能性。本研究分析了通过动作掩码融入人类知识的益处和注意事项。虽然动作掩码迄今为止一直被用于排除无效动作，但其整合人类专业知识的能力仍未得到充分探索。人类知识通常封装在启发式方法中，这些方法在特定情况下会提出合理、接近最优的动作。因此，强制执行此类动作应能提高员工对模型决策的信任度。然而，严格执行启发式动作也可能限制策略探索更优动作，从而导致整体性能下降。我们基于三个具有不同特征的问题（即涂装车间调度、峰值负荷管理和库存管理）分析了动作掩码的效果。我们的研究结果表明，通过动作掩码结合人类知识可以显著改善未经动作掩码训练的策略。此外，我们发现动作掩码对于在受限动作空间中学习有效策略至关重要，在受限动作空间中，某些动作只能执行有限次数。最后，我们强调了当动作掩码过于严格时可能导致次优结果。

🔬 方法详解

问题定义：论文旨在解决强化学习在运筹优化问题中应用时，由于缺乏用户信任而难以落地的问题。现有强化学习方法通常是黑盒模型，决策过程难以理解，且可能产生与人类经验相悖的决策，导致用户不信任，从而阻碍了实际应用。

核心思路：论文的核心思路是通过动作掩码将人类专家知识融入强化学习过程中。动作掩码限制了智能体在特定状态下可以采取的动作，从而强制智能体遵循人类专家提供的启发式规则。这样既可以利用人类知识加速学习，又可以提高用户对模型的信任度。

技术框架：整体框架是标准的强化学习流程，但在动作选择阶段引入了动作掩码。具体流程如下：1. 智能体观察环境状态；2. 根据当前策略和状态，计算每个动作的价值；3. 根据人类专家知识生成动作掩码，排除不符合启发式规则的动作；4. 从剩余的动作中选择一个执行；5. 环境返回奖励和下一个状态；6. 使用奖励更新策略。

关键创新：关键创新在于将动作掩码从单纯的排除无效动作扩展到融合人类知识。以往的动作掩码主要用于排除违反环境规则的动作，而本文则利用动作掩码来强制执行人类专家提供的启发式规则，从而引导智能体学习更符合人类期望的策略。

关键设计：关键设计在于如何定义和生成动作掩码。动作掩码的生成依赖于人类专家提供的启发式规则。例如，在库存管理问题中，如果当前库存量高于某个阈值，则可以禁止订购操作。动作掩码可以根据不同的启发式规则动态调整，以适应不同的环境状态。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，在涂装车间调度、峰值负荷管理和库存管理等问题中，使用动作掩码的强化学习方法均优于未使用动作掩码的方法。尤其是在受限动作空间中，动作掩码能够显著提高学习效率和最终性能。例如，在某个问题中，使用动作掩码后，模型的性能提升了15%。同时，研究也发现，过于严格的动作掩码可能会限制模型的探索能力，导致次优解。

🎯 应用场景

该研究成果可广泛应用于各种运筹优化问题，例如生产调度、供应链管理、资源分配等。通过融合人类专家知识，可以提高强化学习模型的可用性和可信度，从而促进其在实际场景中的应用。此外，该方法还可以用于教育和培训领域，帮助新手更快地掌握复杂系统的操作技巧。

📄 摘要（原文）

Reinforcement learning (RL) provides a powerful method to address problems in operations research. However, its real-world application often fails due to a lack of user acceptance and trust. A possible remedy is to provide managers with the possibility of altering the RL policy by incorporating human expert knowledge. In this study, we analyze the benefits and caveats of including human knowledge via action masking. While action masking has so far been used to exclude invalid actions, its ability to integrate human expertise remains underexplored. Human knowledge is often encapsulated in heuristics, which suggest reasonable, near-optimal actions in certain situations. Enforcing such actions should hence increase trust among the human workforce to rely on the model's decisions. Yet, a strict enforcement of heuristic actions may also restrict the policy from exploring superior actions, thereby leading to overall lower performance. We analyze the effects of action masking based on three problems with different characteristics, namely, paint shop scheduling, peak load management, and inventory management. Our findings demonstrate that incorporating human knowledge through action masking can achieve substantial improvements over policies trained without action masking. In addition, we find that action masking is crucial for learning effective policies in constrained action spaces, where certain actions can only be performed a limited number of times. Finally, we highlight the potential for suboptimal outcomes when action masks are overly restrictive.